celery异步操作

最新推荐文章于 2022-12-29 23:42:46 发布

Python_Heaven

最新推荐文章于 2022-12-29 23:42:46 发布

阅读量174

点赞数

分类专栏：其他技术

本文链接：https://blog.csdn.net/qq_36710311/article/details/105109951

版权

其他技术专栏收录该内容

6 篇文章 0 订阅

订阅专栏

在这里插入图片描述
任务模块 Task
包含异步任务和定时任务。其中, 异步任务通常在业务逻辑中被触发并发往任务队列, ⽽定时任务由 Celery Beat 进程周期性地将任务发往任务队列。
消息中间件 Broker
Broker, 即为任务调度队列, 接收任务⽣产者发来的消息（即任务）, 将任务存⼊队列。Celery 本身不提供队列服务, 官⽅推荐使⽤ RabbitMQ 和 Redis 等。
任务执⾏单元 Worker
Worker 是执⾏任务的处理单元, 它实时监控消息队列, 获取队列中调度的任务, 并执⾏它。
任务结果存储 Backend
Backend ⽤于存储任务的执⾏结果, 以供查询。同消息中间件⼀样, 存储也可使⽤
RabbitMQ, Redis 和 MongoDB 等。
2. 安装

pip install 'celery[redis]'

创建实例

import time
from celery import Celery
broker = 'redis://127.0.0.1:6379'
backend = 'redis://127.0.0.1:6379/0'
app = Celery('my_task', broker=broker, backend=backend)
@app.task
def add(x, y):
 time.sleep(5) # 模拟耗时操作
 return x + y

启动 Worker

celery worker -A tasks --loglevel=info

调⽤任务

from tasks import add
add.delay(2, 8)

常规配置

broker_url = 'redis://127.0.0.1:6379/0'
broker_pool_limit = 1000 # Borker 连接池，默认是10
timezone = 'Asia/Shanghai'
accept_content = ['pickle', 'json']
task_serializer = 'pickle'
result_expires = 3600 # 任务过期时间
result_backend = 'redis://127.0.0.1:6379/0'
result_serializer = 'pickle'
result_cache_max = 10000 # 任务结果最⼤缓存数量
worker_redirect_stdouts_level = 'INFO'