任务队列神器：Celery 入门到进阶指南

最新推荐文章于 2024-07-21 15:49:44 发布

平静愉悦

最新推荐文章于 2024-07-21 15:49:44 发布

阅读量1.1k

点赞数

分类专栏：笔记爬虫入门教学 Python基础教学文章标签： python celery 分布式经验分享程序人生

本文链接：https://blog.csdn.net/aaahtml/article/details/115131246

版权

本文详细介绍了Celery这一分布式任务执行框架，包括其架构、应用场景、安装、完整示例、分布式集群部署、进阶使用及任务队列监控。通过Celery，可以实现异步任务、定时任务的高效处理，适用于大规模实时任务和定时任务场景。同时，文中还讨论了如何指定特定worker执行任务以及任务状态跟踪和日志管理。

摘要由CSDN通过智能技术生成

1.什么是celery

celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行。

1.1 celery架构

Celery由以下三部分构成：消息中间件(Broker)、任务执行单元Worker、结果存储(Backend)

任务调用提交任务执行请求给Broker队列
如果是异步任务，worker会立即从队列中取出任务并执行，执行结果保存在Backend中
如果是定时任务，任务由Celery Beat进程周期性地将任务发往Broker队列，Worker实时监视消息队列获取队列中的任务执行

1.2 应用场景

大量的长时间任务的异步执行，如上传大文件
大规模实时任务执行，支持集群部署，如支持高并发的机器学习推理
定时任务执行，如定时发送邮件，定时扫描机器运行情况

2.安装

celery安装非常简单, 除了安装celery，本文中使用redis作为消息队列即Broker

# celery 安装
pip install celery
# celery 监控 flower
pip install flower
pip install redis

# redis 安装
yum install redis
# redis启动
redis-server /etc/redis.conf

3. 完整例子

celery的应用开发涉及四个部分

celery 实例初始化
任务的定义（定时和实时任务）
任务worker的启动
任务的调用

3.1 项目目录

# 项目目录
wedo
.
├── config.py
├── __init__.py
├── period_task.py
└── tasks.py

3.2 celery 实例初始化

celery的实例化，主要包括执行Broker和backend的访问方式，任务模块的申明等

# celery 实例初始化 
# __init__.py
from celery import Celery
app = Celery('wedo')  # 创建 Celery 实例
app.config_from_object('wedo.config') 

# 配置 wedo.config
# config.py
BROKER_URL = 'redis://10.8.238.2:6379/0' # Broker配置，使用Redis作为消息中间件
CELERY_RESULT_BACKEND = 'redis://10.8.238.2:6379/0' # BACKEND配置，这里使用redis
CELERY_RESULT_SERIALIZER = 'json' # 结果序列化方案
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24 # 任务过期时间
CELERY_TIMEZONE='Asia/Shanghai'   # 时区配置
CELERY_IMPORTS = (     # 指定导入的任务模块,可以指定多个
    'wedo.tasks',
    'wedo.period_task'
)

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：705933