Django中使用celery实现异步任务、延时任务、周期定时任务

配置celery

1. 安装以下环境

pip install celery
pip install redis
pip install eventlet # celery 4.0+版本以后不支持在windows运行，还需额外安装eventlet库

本文环境为：python3.9.4+Django4.2.11+celery5.3.6+redis5.0.3

2. 配置setting.py文件
在setting.py文件中加入以下代码

# 设置redis消息队列
CELERY_BROKER_URL = 'redis://127.0.0.1:6379/10'

# celery内容等消息的格式设置，默认json
CELERY_ACCEPT_CONTENT = ['application/json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

# 时间格式化为中国时间
CELERY_TIMEZONE = 'Asia/Shanghai'
# 是否使用UTC时间
CELERY_ENABLE_UTC = False

# 为存储结果设置过期日期，默认1天过期。如果beat开启，Celery每天会自动清除。
# 设为0，存储结果永不过期
CELERY_RESULT_EXPIRES = 60 * 60 * 24

# 任务限流
CELERY_TASK_ANNOTATIONS = {'tasks.add': {'rate_limit': '2/s'}}

# Worker并发数量，一般默认CPU核数，可以不设置
CELERY_WORKER_CONCURRENCY = 2

3. 在setting.py的同级目录新建一个celery_work.py文件，加入以下代码

import os
from celery import Celery
from celery.schedules import crontab
from datetime import timedelta

# 设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'project_name.settings')

# 实例化，需要改成自己的项目名称
app = Celery('project_name')

# namespace='CELERY'作用是允许你在Django配置文件中对Celery进行配置
# 但所有Celery配置项必须以CELERY开头，防止冲突
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自动从Django的已注册app中发现任务
app.autodiscover_tasks()

4.在setting.py所在目录中的__init__文件中加入以下代码

from .celery_work import app as celery_app

__all__ = ('celery_app',)

实现异步任务

1. 创建任务函数
(1)新建一个tasks模块

（2）在tasks模块下创建tasks.py文件，并编写任务函数代码：

from celery import shared_task
from time import sleep

@shared_task
def test_celery_task1():
    print("test_celery_task1")

@shared_task
def test_celery_task2(x, y):
    sleep(10)
    print(f"test_celery_task2---->{x}, {y}")

（3）新建一个app，添加url， 在view.py文件中调用任务函数

from rest_framework import status
from rest_framework.views import APIView
from rest_framework.response import Response
from tasks.tasks import test_celery_task1, test_celery_task2

class TestView(APIView):
    def get(self, request):
        test_celery_task2.apply_async(args=[111, 222])
        test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

现在可在终端输入以下命令启动worker：

celery -A celery_study worker -l info -P eventlet # celery_study为项目名称

出现以下内容就是配置成功

运行项目后可在postman测试，得到以下结果：

实现延时任务

1.通过直接设置执行时间
eta参数为指定执行时间

class TestView(APIView):
    def get(self, request):
        # test_celery_task2.apply_async(args=[111, 222])
        ctime = datetime.now()
        # 默认使用utc时间
        utc_time = datetime.utcfromtimestamp(ctime.timestamp())
        task_delay = timedelta(seconds=10) # 定义时间间隔
        task_time = utc_time + task_delay
        print(f"任务时间：{task_time}")
        test_time_task.apply_async(args=[ctime], eta=task_time) # 10秒后执行

        # test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

2.通过设置延时时间
countdown参数为延时时间：

class TestView(APIView):
    def get(self, request):
        # test_celery_task2.apply_async(args=[111, 222])
        ctime = datetime.now()
        test_time_task.apply_async(args=[ctime], countdown=10) # 10秒后执行
        # test_celery_task1.apply_async(args=[])
        return Response({'message': 'test success'}, status=status.HTTP_200_OK)

测试结果如下，执行时间延迟了10秒

实现周期定时任务

1.定义任务函数

@shared_task
def test_scheduled_task(x, y):
    print(f'10秒执行一次---参数：{x},{y}')

2. 在celery_work.py文件中加入以下代码

# 导入库
from datetime import timedelta
# 设置定时任务
app.conf.beat_schedule = {
    'scheduled_task': {
        'task': 'celery_app.tasks.scheduled_task', # 任务函数
        'schedule': timedelta(seconds=10), # 每10秒钟执行一次
        'args': () # 任务函数的参数
    },
}

还可使用crontab定义周期：

app.conf.beat_schedule = {
    'scheduled_task': {
        'task': 'celery_app.tasks.scheduled_task',
        'schedule': timedelta(seconds=10), # 每10秒钟执行一次
        'args': ()
    },
    'scheduled_task2': {
            'task': 'tasks.tasks.test_celery_task',
            'schedule': crontab(minute='*/1'), # 每1分钟执行一次
            'args': (111, 222) # 参数
        },

}

开两个终端，分别执行以下两条命令即可：

# celery_study为项目名称
celery -A celery_study worker -l info -P eventlet # 启动worker命令
celery -A celery_study beat # 启动定时调度器命令

celery常用命令

celery -A celery_study worker -l info -P eventlet # 启动worker命令
celery -A celery_study beat # 启动定时调度器命令
ps auxww | grep 'celery' | awk '{print $2}' | xargs kill -9 # linux上关闭celery任务