使用celery进行异步处理和定时任务(django)

_BooI

于 2024-07-27 17:19:33 发布

阅读量887

点赞数 20

分类专栏： django 文章标签： django python 后端

本文链接：https://blog.csdn.net/chenchun0458/article/details/140738025

版权

django 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

一、celery的作用

celery 是一个简单、灵活且可靠的分布式系统，用于处理大量消息，同时为操作提供一致的接口。它专注于实时操作，但支持任务调度。Celery 主要用于异步任务处理，特别是在Web应用环境中，用于执行后台任务，如发送电子邮件、处理图片、视频转码、运行复杂的计算等，而不必阻塞Web请求/响应周期。

二、安装celery

命令： pip install celery -i https://pypi.tuna.tsinghua.edu.cn/simple

三、使用celery 异步执行任务

官方文档：First steps with Django — Celery 5.4.0 documentation (celeryq.dev)

1、配置

1）给celery设置环境，为django项目的环境

2）创建celery实例

3）设置broker,也就是我们存放任务的队列,这里从配置文件中加载broker

4）设置自动检测任务，autodiscover_tasks方法

具体实现如下:

broker配置文件如下，这里用redis做队列来存任务：

2、创建好celery实例和配置broker之后，开始创建任务

比如我要创建一个发送邮件的任务：

1）创建文件夹，创建tasks.py文件

2）在tasks.py文件中编写任务(函数)，一定要用task装饰器修饰起来

3）在app.autodiscover_tasks([ ])中添加你的任务

参数是列表，列表中的元素是task的路径(就是要执行的任务所在的路径)

4）在你想要异步执行该函数的地方导入，用delay方法将任务推到队列中

四、使用celery定期执行任务

官方文档：Periodic Tasks — Celery 5.4.0 documentation (celeryq.dev)

1、创建一个文件，专门用来放定时任务的配置(也可以不用)

task： 就是要执行的定时任务，注意位置要找对，要找到对应的函数

schedule：执行的周期

2、用 app.conf.beat_schedule 来指定我们的定时任务

3、在app.autodiscover_tasks([ ])中添加你的任务

参数是列表，列表中的元素是task的路径(就是要执行的任务所在的路径)

五、启动命令

命令：Celery -A celery实例脚本文件 worker --loglevel=INFO

linux命令：celery -A celery_tasks.main worker --loglevel=INFO

windows命令：celery -A celery_tasks.main worker --concurrency=4 --loglevel=INFO -P threads

定时任务，需要开两个终端分别执行两条命令，celery_tasks.main替换成你自己的脚本文件

1、celery -A celery_tasks.main worker --concurrency=4- -loglevel=INFO -P threads

2、celery -A celery_tasks.main beat --loglevel=INFO

六、效果展示

任务的执行

定期任务的执行

七、具体文件目录

main.py

'''
1、生产者
2、消费者
使用命令(linux)：celery -A celery实例脚本文件 worker -l info  启动进程，消费者拿任务， 终端执行
windows命令：celery -A celery_tasks.main worker --concurrency=4 --loglevel=INFO -P threads
3、消息队列
'''

import os
from celery import Celery

# 为celery设置环境
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "mall_test.settings")

# 创建celery实例
app = Celery('celery_tasks')

# 设置broker,消息队列, 从配置信息中加载
app.config_from_object('celery_tasks.config')

# 让celery自动检测指定包的任务
# 参数是列表，列表中的元素是task的路径(就是要执行的任务所在的路径)
app.autodiscover_tasks(['celery_tasks.sms', 'celery_tasks.email', 'celery_tasks.generate_static'])

# 定时任务
from celery_tasks.celery_beat_schedule import CELERY_BEAT_SCHEDULE
app.conf.beat_schedule = CELERY_BEAT_SCHEDULE  # 加入定时任务

config.py

# 设置消息队列，用redis实现
broker_url = 'redis://127.0.0.1:6379/15'

celery_beat_schedule.py

from celery.schedules import crontab

# 定时任务, 可以添加多个，启动命令
CELERY_BEAT_SCHEDULE = {
    'update-html': {
        'task': 'celery_tasks.generate_static.tasks.generate_static_index_html',  # 找到对应函数即可
        'schedule': crontab(minute='*/1'),  # 周期，这里是30分钟分钟
    },
}