一、celery基本介绍
① 基本信息:
- 任务队列是一种跨线程、跨机器工作的一种机制.
- 任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列,并从中获得新的任务并处理.
- celery通过消息进行通信,通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中,broker将队列中的信息派发给worker来处理。
- 一个celery系统可以包含很多的worker和broker,可增强横向扩展性和高可用性能。
② 图解
- worker: worker 是一个独立的进程,任务执行单元,它持续监视队列中是否有需要处理的任务;
- broker: broker 消息传输中间件,任务调度队列,接收生产者发出的消息,将任务存入队列,broker 负责协调客户端和 worker 的沟通。客户端向队列添加消息,broker 负责把消息派发给 worker。
- 任务结果 backend:backend 存储任务执行结果,同消息中间件一样,需要由其他存储系统提供支持
③ 使用场景
Celery是一个使用Python开发的分布式任务调度模块,因此对于大量使用Python构建的系统,可以说是无缝衔接,使用起来很方便。Celery专注于实时处理任务,同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。
二、安装celery
在项目环境中安装celery,通过pip install celery即可
三、celery基本配置
① 在项目根目录下下创建celery_tasks包用于保存celery异步任务
② 在celery_tasks目录下创建config.py文件,用于保存celery的配置信息,在config.py中添加如下:
broker_url = "redis://127.0.0.1/15" # 保存在redis数据库中
③ 在celery_tasks目录下创建main.py文件,用于作为celery的启动文件
from celery import Celery
# 为celery使用django配置文件进行设置
import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
# 指定项目目录下的settings文件
os.environ['DJANGO_SETTINGS_MODULE'] = 'test10.settings'
# 创建celery应用/实例
app = Celery('sms_codes')
# 导入celery配置
app.config_from_object('celery_tasks.config')
# 自动注册celery任务
app.autodiscover_tasks(['celery_tasks.sms'])
③ 在celery_tasks目录下创建sms目录,用于放置发送短信的异步任务相关代码。
再在celery_tasks/sms/目录下创建tasks.py文件,用于保存发送短信的异步任务
import logging
from celery_tasks.main import app
logger = logging.getLogger("django")
@app.task(name='send_sms_code')
def send_sms_code(mobile, sms_num):
"""
发送短信验证码
:param mobile: 手机号
:param sms_num: 验证码
:param expires: 有效期
:return: None
"""
# 此处省略发送短信验证码逻辑
四、开启celery服务
① 在相应的视图函数中调用接口
from celery_tasks.sms import tasks as sms_tasks
# 发送短信验证码,交给celery异步处理
sms_tasks.send_sms_code.delay(mobile=mobile, sms_num=sms_num)
② 现在我们在创建一个worker, 等待处理队列中的任务.打开终端,cd到celery_tasks同级目录中,执行命令:
celery -A celery_tasks.main worker -l info &
其中 -A 选项指定 celery 实例 app 的位置
-l 选项指定日志级别, -l 是 --loglevel 的缩略形式,可看到下图中所示:
启动项目,注册发送短信即可得到: