celery学习使用示例

官方文档

celery官方文档
参考文档：https://blog.csdn.net/qiulin_wu/article/details/106119757

功能介绍

Celery是一个异步任务队列。它可以用于需要异步运行的任何内容。RabbitMQ是Celery广泛使用的消息代理。

使用实践

broker

为什么我们需要broker呢?这是因为Celery本身并不构造消息队列，所以它需要一个额外的消息传输来完成这项工作。这里可以将Celery看作消息代理的包装器。
如果使用redis，大家可以参考这里：celery使用redis作为broker示例

安装和启动rabbitmq

可以借助docker安装，参考文档：docker安装mq

celery安装和运行

1. 安装

pip install celery

2. 创建项目并引入celery
   tasks.py

from __future__ import absolute_import, unicode_literals

import time

from celery import Celery

app = Celery('tasks',
             broker='amqp://guest@localhost//',
             backend='rpc://',
             include=['test_celery.tasks']
             )

app.conf.update(
    result_expires=3600,
)


@app.task(name='mytask')
def add(x, y):
    print("start run add x={},y={}".format(x, y))
    ret = x + y
    time.sleep(5)
    print("end run ret = {}".format(ret))
    return ret


if __name__ == '__main__':
    result = add.delay(1, 1)
    # 此时，任务还未完成，它将返回False
    print('Task finished? ', result.ready())
    print('Task result: ', result.result)
    # 延长到10秒以确保任务已经完成
    time.sleep(10)
    # 现在任务完成，ready方法将返回True
    print('Task finished? ', result.ready())
    print('Task result: ', result.result)

代码解释：
在这里，初始化了一个名为app的Celery实例，将用于创建一个任务。Celery的第一个参数只是项目包的名称或者py文件的名称，即“tasks”。

broker参数指定代理URL，对于RabbitMQ，传输是amqp。

backend参数指定后端URL。Celery中的后端用于存储任务结果。因此，如果需要在任务完成时访问任务的结果，应该为Celery设置一个后端。

rpc:// 意味着将结果作为AMQP消息发送回去，这对本次演示来说是一种可接受的格式。

include参数指定了在Celery工作程序启动时要导入的模块列表。我们在这里添加了tasks模块，以便找到我们的任务。

@app.task(name=‘mytask’)装饰器，name参数指定任务名称。

add.delay(1, 1)对方法进行调用。

3. 启动

celery -A test_celery.tasks worker --loglevel=info

4. 终止服务
   ctrl+c
5. 调用
   运行tasks.py中的main方法

这里，我们使用delay方法调用任务add（），如果我们想异步处理任务，就需要使用delay方法。此外，保存任务的结果并打印一些信息。如果任务已经完成，ready方法将返回True，否则返回False。result属性是任务的结果，如果任务尚未完成，则返回None

运行结果
控制台

celery的启动窗口

接收到任务后打印任务名称和id

Received task: mytask[6c0fd268-1649-40fd-88c1-a1d91bae6176]

task方法中的打印

start run add x=1,y=1
end run ret = 2

最后一行表示任务执行完成

Task mytask[6c0fd268-1649-40fd-88c1-a1d91bae6176] succeeded in 5.041684367s: 2

后台启动

1. 启动

celery multi start w1 -A proj -l info

2. 停止

celery multi stop w1 -A proj -l info#但是并不优雅，不会等待当前任务执行完成

3. 优雅停止

celery multi stopwait w1 -A proj -l info

4. 重启

celery  multi restart w1 -A proj -l info

celery监控

Flower是一款基于网络的Celery实时监控软件。使用Flower，可以轻松地监视任务进度和历史记录.

安装和启动

pip install flower

celery -A test_celery.tasks flower

结语

本示例比较简单和基础，是我在初学的时候借鉴和参考其他人文档之后总结的经验供自己学习和记录，如果能够帮到大家更好了。后面在项目中实践使用之后，会出一个更加详细的项目使用案例。