django项目中celery的使用

celery简介

1. celery适用于异步处理问题
2. celery适用于处理I/O操纵(耗时的操作)比如：发送邮件，发送短信，上传文件，同步操作。

celery组成

生活场景

一个快递寄送到客户手里，一般经过 商家发货-运送货物-快递驿站-快递员配送。

celery可以在系统当中是整个配送快递的过程。

celery架构

Celery的架构由三部分组成：

• 消息中间件（message broker）- 快递驿站
• 任务执行单元（worker） - 配送员
• 任务执行结果存储（task result store）组成。 - 快递单

消息中间件 broker

broker 件可以有如下选择

• redis
• rabbitmq

官方建议生产环境使用rabbitmq

redis 作为broker， 可能因意外中断或者电源故障导致数据丢失的情况。

任务执行单元 Workfer

Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

任务结果存储 backend

任务结果存储

backend用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis，memcached, mongodb，SQLAlchemy, Django ORM，Apache Cassandra, IronCache 等。

celery 使用

安装

安装celery

Celery 5.0.x 支持 Django 1.11 版本以上
如果本地Django版本早于1.11 版本，请使用Celery4.4.x

pip install celery

broker

安装rabbitmq

测试环境我们使用容器部署

docker run -d -p 5672:5672 rabbitmq

安装redis

docker run -d -p 6379:6379 redis

backend

如果要跟踪任务到状态，celery需要将结果发送到后台存储。

一般backend可以选择如下软件

1. SQLAlchemy
2. Django ORM
3. MongoDb
4. Memached
5. Redis
6. RPC
7. RabbitMq/ AMQp
8. …

示例

设置非常简单，只需要指定对应到变量即可

rpc 作为backend

app = Celery('tasks', backend='rpc://', broker='pyamqp://')

redis作为backend（结果后端） rabbitmq作为消息代理

app = Celery('tasks', backend='redis://localhost', broker='pyamqp://')

简单示例

我们先从一个简单的例子来了解下celery的调用方法
我们先创建一个tasks.py的文件

from celery import Celery

app = Celery('tasks', broker='reids://127.0.0.1/0')

@app.task
def add(x, y):
    return x + y

运行celery worker 服务

$ celery -A tasks worker --loglevel=INFO
...
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery
                

[tasks]
  . tasks.add   # 显示运行的task任务列表

备注： 如果出现如下报错优先安装redis客户端

   raise ImportError('Missing redis library (pip install redis)')
ImportError: Missing redis library (pip install redis)

# 提示安装redis
pip install redis

调用任务

我们在主程序中调用任务 创建server.py

我们调用add任务，可以使用delay()方法

from tasks import add
add.delay(4.4)

运行程序

python server.py

可以看到如下结果，对应的数据为8

添加backend保存结果

我们修改add.py 中的app设置

app = Celery('tasks', backend='redis://localhost', broker='redis://127.0.0.1/0')

查看reids中保存的结果