文章目录
celery简介
- celery适用于异步处理问题
- celery适用于处理I/O操纵(耗时的操作)比如:发送邮件,发送短信,上传文件,同步操作。
celery组成
生活场景
一个快递寄送到客户手里,一般经过 商家发货-运送货物-快递驿站-快递员配送。
celery可以在系统当中是整个配送快递的过程。
celery架构
Celery的架构由三部分组成:
- 消息中间件(message broker)- 快递驿站
- 任务执行单元(worker) - 配送员
- 任务执行结果存储(task result store)组成。 - 快递单
消息中间件 broker
broker 件可以有如下选择
- redis
- rabbitmq
官方建议生产环境使用rabbitmq
redis 作为broker, 可能因意外中断或者电源故障导致数据丢失的情况。
任务执行单元 Workfer
Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中。
任务结果存储 backend
任务结果存储
backend用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括AMQP, redis,memcached, mongodb,SQLAlchemy, Django ORM,Apache Cassandra, IronCache 等。
celery 使用
安装
安装celery
Celery 5.0.x 支持 Django 1.11 版本以上
如果本地Django版本早于1.11 版本,请使用Celery4.4.x
pip install celery
broker
安装rabbitmq
测试环境我们使用容器部署
docker run -d -p 5672:5672 rabbitmq
安装redis
docker run -d -p 6379:6379 redis
backend
如果要跟踪任务到状态,celery需要将结果发送到后台存储。
一般backend可以选择如下软件
- SQLAlchemy
- Django ORM
- MongoDb
- Memached
- Redis
- RPC
- RabbitMq/ AMQp
- …
示例
设置非常简单,只需要指定对应到变量即可
rpc 作为backend
app = Celery('tasks', backend='rpc://', broker='pyamqp://')
redis作为backend(结果后端) rabbitmq作为消息代理
app = Celery('tasks', backend='redis://localhost', broker='pyamqp://')
简单示例
我们先从一个简单的例子来了解下celery的调用方法
我们先创建一个tasks.py的文件
from celery import Celery
app = Celery('tasks', broker='reids://127.0.0.1/0')
@app.task
def add(x, y):
return x + y
运行celery worker 服务
$ celery -A tasks worker --loglevel=INFO
...
-------------- [queues]
.> celery exchange=celery(direct) key=celery
[tasks]
. tasks.add # 显示运行的task任务列表
备注: 如果出现如下报错优先安装redis客户端
raise ImportError('Missing redis library (pip install redis)')
ImportError: Missing redis library (pip install redis)
# 提示安装redis
pip install redis
调用任务
我们在主程序中调用任务 创建server.py
我们调用add任务,可以使用delay()方法
from tasks import add
add.delay(4.4)
运行程序
python server.py
可以看到如下结果,对应的数据为8
添加backend保存结果
我们修改add.py 中的app设置
app = Celery('tasks', backend='redis://localhost', broker='redis://127.0.0.1/0')
查看reids中保存的结果