celery异步操作

在这里插入图片描述
任务模块 Task
包含异步任务和定时任务。其中, 异步任务通常在业务逻辑中被触发并发往任务队列, ⽽定时任务由 Celery Beat 进程周期性地将任务发往任务队列。
消息中间件 Broker
Broker, 即为任务调度队列, 接收任务⽣产者发来的消息(即任务), 将任务存⼊队列。Celery 本身不提供队列服务, 官⽅推荐使⽤ RabbitMQ 和 Redis 等。
任务执⾏单元 Worker
Worker 是执⾏任务的处理单元, 它实时监控消息队列, 获取队列中调度的任务, 并执⾏它。
任务结果存储 Backend
Backend ⽤于存储任务的执⾏结果, 以供查询。同消息中间件⼀样, 存储也可使⽤
RabbitMQ, Redis 和 MongoDB 等。
2. 安装

pip install 'celery[redis]'
  1. 创建实例
import time
from celery import Celery
broker = 'redis://127.0.0.1:6379'
backend = 'redis://127.0.0.1:6379/0'
app = Celery('my_task', broker=broker, backend=backend)
@app.task
def add(x, y):
 time.sleep(5) # 模拟耗时操作
 return x + y
  1. 启动 Worker
celery worker -A tasks --loglevel=info
  1. 调⽤任务
from tasks import add
add.delay(2, 8)
  1. 常规配置
broker_url = 'redis://127.0.0.1:6379/0'
broker_pool_limit = 1000 # Borker 连接池,默认是10
timezone = 'Asia/Shanghai'
accept_content = ['pickle', 'json']
task_serializer = 'pickle'
result_expires = 3600 # 任务过期时间
result_backend = 'redis://127.0.0.1:6379/0'
result_serializer = 'pickle'
result_cache_max = 10000 # 任务结果最⼤缓存数量
worker_redirect_stdouts_level = 'INFO'
发布了74 篇原创文章 · 获赞 6 · 访问量 1911
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览