利用Celery实现定时任务

最新推荐文章于 2024-07-27 17:19:33 发布

山阴少年

最新推荐文章于 2024-07-27 17:19:33 发布

阅读量4.6k

点赞数 3

分类专栏： Python 文章标签： celery

本文链接：https://blog.csdn.net/jclian91/article/details/107445101

版权

Python 专栏收录该内容

67 篇文章 16 订阅

订阅专栏

Celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。在之前的文章Python之celery的简介与使用中，笔者简单介绍了celery以及celery的使用。本文将会将会如何利用celery来实现定时任务。
定时任务，在我们平时的工作中并不少见，比如定时备份数据库，清理日志，以及对数据定时做统计等。
本文将会结合两个定时任务来进行讲解，这两个定时任务为：

每10秒做加法
每1分钟告诉时间

整个项目的演示代码很简单，如下：
项目代码
celeryconfig.py文件为celery的相关配置，代码如下：

BROKER_URL = 'redis://localhost'    # 使用Redis作为消息代理

CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'  # 把任务结果存在了Redis

CELERY_TASK_SERIALIZER = 'msgpack'  # 任务序列化和反序列化使用msgpack方案

CELERY_RESULT_SERIALIZER = 'json'   # 读取任务结果一般性能要求不高，所以使用了可读性更好的JSON

CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24   # 任务过期时间，不建议直接写86400，应该让这样的magic数字表述更明显

CELERY_ACCEPT_CONTENT = ['json', 'msgpack']     # 指定接受的内容类型

CELERYD_CONCURRENCY = 10    # 并发worker数

tasks.py 为具体的任务情况，这里只配置了上述两个任务，代码如下：

from proj.app_test import app
import datetime
from random import randint


@app.task
def add(x, y):
    a = randint(x, y)
    b = randint(x, y)
    return "%s + %s = %s" % (a, b, a+b)


@app.task
def time_teller():
    return datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

app_test.py中是程序的运行配置以及定时任务的设置，代码如下：

from celery import Celery
from celery.schedules import crontab

app = Celery('proj', include=['proj.tasks'])
app.config_from_object('proj.celeryconfig')

# 定时任务
app.conf.beat_schedule = {
    "each10s_task": {
        "task": "proj.tasks.add",
        "schedule": 10,
        "args": (0, 100)
    },
    "each1m_task": {
        "task": "proj.tasks.time_teller",
        "schedule": crontab(minute="*/1")
    }
}

从上述的代码中，我们可以看出，celery的定时任务实现方式应该借助了Linux中Crontab的实现机制。在具体的配置中，需要指定任务的名称（比如：each10s_task），任务的实现函数（比如：proj.tasks.add）以及定时时间和函数参数（非必须）。关于定时的schedule模式，可以参考网址：https://docs.celeryproject.org/en/stable/userguide/periodic-tasks.html 。
接下来，我们来模拟该定时任务的运行。
首先，需要启动消息队列，这里选择Redis。接着，运行任务调度的命令，如下：