django使用celery定时任务，使用redis和supervisor。

最新推荐文章于 2024-07-27 17:19:33 发布
最新推荐文章于 2024-07-27 17:19:33 发布
阅读量6.8k 收藏 8
点赞数 5
分类专栏： django 文章标签： django redis 定时任务 celery 延迟执行
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/win_turn/article/details/60658525
版权
本文介绍了如何在Django项目中使用Celery和Redis实现异步任务及定时任务，详细阐述了从创建虚拟环境、安装依赖到配置Django、创建Celery任务和使用Supervisor管理进程的全过程。并提供了相关日志管理和任务测试的步骤。
摘要由CSDN通过智能技术生成

前言

在django项目中，使用celery异步执行任务，以及创建定时任务。
使用redis作为中间件，用supervisor管理进程。

django项目代码
http://download.csdn.net/detail/win_turn/9772404

Begin

当前路径

这里写图片描述

创建虚拟环境

有关virtualenv的讲解，可查看
http://blog.csdn.net/win_turn/article/details/60466451

virtualenv win

这里写图片描述

进入虚拟环境

source win/bin/activate

这里写图片描述

安装package

建议先配置一下pip的国内镜像
http://blog.csdn.net/win_turn/article/details/59733715

pip install -r requirements.txt
#文件requirements.txt的内容
amqp==2.1.4
beautifulsoup4==4.5.3
billiard==3.5.0.2
celery==4.0.2
Django==1.10.6
kombu==4.0.2
lxml==3.7.3
pytz==2016.10
redis==2.10.5
requests==2.13.0
vine==1.1.3

创建django项目和应用

django-admin startproject pro
cd pro/
django-admin startapp wechat

这里写图片描述
当前目录结构
这里写图片描述

配置django

vi pro/settings.py

INSTALLED_APPS中添加新增的app
这里写图片描述
在文件末尾添加celery配置
这里写图片描述
CELERYD_LOG_FILE是celery worker的日志文件
CELERYBEAT_LOG_FILE是celery beat的日志文件

2017年3月20日更新
今天进行数据迁移时发现个问题，一直没有celery日志文件。
后来才发现，原来CELERYD_LOG_FILE和CELERYBEAT_LOG_FILE已经在4.0版本中不再支持了。改用参数-f指定日志文件。

创建init_celery.py

vi pro/init_celery.py

这里写图片描述

修改init.py

为了确保在django启动时加载了celery应用，修改init.py文件

vi pro/__init__.py

2017年10月2日增加
将下图中第5行的from .celery import … 改为 from .init_celery import …

这里写图片描述

当前目录结构

最低0.47元/天 解锁文章
win_turn
关注
专栏目录
Django定时器Celery+Redis（一）Celery安装使用
youand_me的博客
10-18 1806
序言 　　开发Django也有一段时间了，在最近的项目遇到了需要使用定时器的需求：在每天的00:00需要对每个用户的当天消费数据进行统计。这时候就需要用到定时任务，加上使用的Django开发，所以选择了Celery。 　　Celery是一个基于python开发的分布式任务队列框架，可以使用任务队列的方式在分布式的机器上执行任务调度。译名为：芹菜，不知道和分布式任务队列MQ有何关联。其主...
django+celery+redis+flower笔记
芳
03-06 995
一、环境（django+celery+redis+flower） 第一步：安装环境 brew install Redis pip install -U "celery[redis]" (同时安装celery-4.4.1 #redis的库、vine-1.3.0、billiard-3.6.3.0、kombu-4.6.8、redis-3.4.1、amqp-2.5.2)(拓展：pip的参数[-i]...
使用celery进行异步处理和定时任务(django)
最新发布
一个持续学习的小趴菜。
07-27 2101
在django中使用celery进行异步处理和定时任务
django+celery+redis实现异步、定时任务（搭建后记录）
a961634066的博客
03-15 732
一、安装 注意：包的版本方面有要求，不然搭建好后运行会报错，以下是本次使用版本，可运行 1.pip安装celery==3.1.20，django-celery==3.3.1，redis==2.8.0，redis版本安装在3以下 二、配置及编写测试文件 1. 在与settings平级的目录下，新建celery.py文件 # !/usr/bin/env python # encoding: utf-8 # 目的是拒绝隐式引入，celery.py和celery冲突。 from __futur...
celery+django+redis
weixin_44980838的博客
01-03 600
Celery介绍 1、celery应用举例 1、Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 　如果你的业务场景中需要用到异步任务，就可以考虑使用celery 2、你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID, 　　　　　　　　你过一段时间只需要拿着这个任务id就可以拿...
Django（十四）：异步任务celery（安装celery+redis+配置settings）
Gym987的博客
11-12 398
前言 在web开发中，要给用户发送邮件，发送短信，都属于耗时的操作，会导致给用户的响应时间边长，这种情况的解决办法，给用户先返回一个响应，不要影响用户的使用，将这些耗时的操作，放在后台执行，例如新开一个进程，celery就是解决这个问题 celery组成部分 worker ：工人，执行任务的单元 broker ：消息中间件 即中间人 用来在服务和worker中传递消息 redi...
django+celery+redis+supervisor教程代码
03-07
【标题】"django+celery+redis+supervisor教程代码" 涉及到的知识点主要集中在构建分布式任务调度和管理的系统上。这个教程旨在教你如何使用Django作为Web框架，Celery作为异步任务队列，Redis作为消息中间件，以及...
django+celery + rabbitmq + redis +flower+supervisor可视化分布式异步多任务
qq_36811322的博客
04-15 778
理论加实战 实战 centos7下python3.6 pip3 install supervisor,Celery supervisor是后台执行 为了shell终端输入celery就可以用必须执行下面命令，要先找到celery安装在哪里 pip安装的一定在python安装目录的bin下面 装好后 ln-s /usr/local/python3/bin/celery /usr/bin/...
django使用celery
不会写后端的前端不是一个好运维。
05-27 3064
在用django写自己的平台时，有一些业务场景，一些请求处理时间太久，需要用到异步请求，还有一些定时任务和周期性的任务，刷新缓存，看了一些相关的库，最终觉得celery比较符合，故查阅文档，尝试celery的使用 celery: 用于一般的异步请求 eventlet windows支持插件 django-celery-beat 用于定时和周期计划 django-celery-results 用于存储celery的运行结果 folower 用于监控celery的运行状态 ...
celery 可视化_django+celery + rabbitmq + redis +flower+supervisor可视化分布式异步多任务...
weixin_39815600的博客
12-19 477
理论加实战实战centos7下python3.6pip3 install supervisor,Celerysupervisor是后台执行为了shell终端输入celery就可以用必须执行下面命令，要先找到celery安装在哪里 pip安装的一定在python安装目录的bin下面装好后 ln-s /usr/local/python3/bin/celery /usr/bin/celeryflower...
Python-django的celery和redis简单示例项目
08-10
django的celery和redis简单示例项目
Supervisor结合Celery以及Flower对定时任务和异步任务进行可视化分析统计完整配置.zip
10-21
Supervisor的安装及使用，启用可视化界面统计和管理，以Celery进行异步任务、定时任务处理为例，结合Flower进行可视化统计、分析、管理查看。详细的使用和介绍请查看作者的博客文章。
Django+Celery学习笔记3——django+celery+redis实现异步任务与定时任务
像蚂蚁一样工作，像蝴蝶一样生活
10-27 1220
　　引言 　　前面已经学习了celery+redis的异步和定时任务，下面介绍如何结合django来使用。 　　环境配置 　　在动手之前，一定要准备好的是环境，celery版本有很多，在使用过程中如何版本与django和redis版本不配套，将会很麻烦。 　　我这里的环境如下： celery==4.3.0 Django==2.2.2 django-celery-beat==1.5.0 ...
Django|Redis|Celery 配置与部署
蓦默的博客
12-30 3045
引言 安装 Django Redis Celery 配置 使用 部署引言在django项目中，经常需要使用异步执行定时任务，如定时发送邮件、清空数据等，celery是很好的选择。本文介绍了使用redis作为broker的celery的使用和部署。安装Django + Redisdjango与celery相关的安装已经在之前写过，这里不再赘述。详见Django|Nginx|Uwsgi|Redis|W
Django实战：Django 3.0 +Redis 3.4 +Celery 4.4异步生成静态HTML文件(附源码)
大江狗
04-25 2132
今天小编利用Django 3.0 +Redis 3.4 +Celery 4.4开发了个小应用。应用不复杂，但知识点很多，非常适合新手练手。项目需求如下：创建两个页面，一个用于创建页面，一...
django+celery+redis环境搭建
weixin_30374009的博客
04-17 126
初次尝试搭建django+celery+redis环境，记录下来，慢慢学习~ 1、安装apache 下载httpd-2.0.63.tar.gz，解压tar zxvf httpd-2.0.63.tar.gz,cd httpd-2.0.63, ./configure --prefix=/usr/local/apache --enable-mods=all...
Django+redis+celery实现异步任务
m0_50140502的博客
11-30 414
1 Django中的异步请求 Django Web中从一个http请求发起，到获得响应返回html页面的流程大致如下：http请求发起 -- http handling（request解析） -- url mapping（url正则匹配找到对应的View） -- 在View中进行逻辑的处理、数据计算（包括调用Model类进行数据库的增删改查）--将数据推送到template，返回对应的template/response。 同步请求：所有逻辑处理、数据计算任务在View中处理完毕后返回response。在V
基于supervisor秒级Laravel定时任务
weixin_34202952的博客
08-14 802
背景介绍 公司需要实现X分钟内每隔Y秒轮训某个接口，Linux自带的crontab貌似只精确到分钟，虽然可以到精确到秒，但是并不满足需求。 选型 公司项目都是 基于 Laravel 框架，所以这个没得选。守护进程用的 supervisor，看看这个家伙能不能满足我们的需求 代码 namespace App\Console\Commands...
django 使用celery实现定时任务
05-12
Django 是一个非常流行的 web 框架，而 Celery 是一个 Python 分布式任务队列，它可以让我们方便地在 Django 中实现定时任务。下面是一个简单的例子： ...这样就完成了 Django 使用 Celery 实现定时任务的配置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值