Celery异步任务的基本实现

发车了,赶紧上车,非老司机,旅途颠簸,还请多多担待

一.Celery简介

Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息和耗时功能。
它是一个任务队列，专注于实时处理，同时还支持任务调度。

二.Celery组成结构

任务队列是一种跨线程、跨机器工作的一种机制

Celery通过消息进行通信，通常使用一个叫broker(中间人)来协调client(任务的发出者)和worker(任务的处理者)

client发出消息到队列中，broker将队列中的信息派发给worker来处理

一个Celery系统可以包含很多的worker和broker，可增强横向扩展性和高可用性能。

三.基本使用流程 (发送短信为例)

安装：pip install celery

• 1.创建异步文件夹

celery_tasks

• 2.创建Celery启动文件main.py
  

main.py
创建Celery对象
加载配置文件
加载Django项目中的配置信息
设置自动检测,把任务添加到检测列表

# celery的启动文件
from celery import Celery

# 任务,worker,droker都需要Celery去协调,所以我们需要创建Celery对象

# celery也是需要使用django项目中的配置信息
# 进行允许celery配置
# 为celery使用django的配置文件进行设置
import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
    os.environ['DJANGO_SETTINGS_MODULE'] = 'mall.settings'
# 上述配置在Celery对象app创建前设置


# 1.创建Celery对象
# 参数main 设置为脚本名,般以 celery的文件夹为名字 ,不要重复
app = Celery('celery_tasks')

# 2.设置broker
# 加载 broker配置文件
app.config_from_object('celery_tasks.config')

# 3.celery 可以自动检测任务
# autodiscover_tasks()第一个参数就是任务列表
# 列表元素是任务包的路径
# 路径是从 celery_tasks 开始
app.autodiscover_tasks(['celery_tasks.sms'])

# 4.worker 是通过命令行执行的
#　celery -A celery　实例对象的文件路径 worker -1 info

# 在虚拟环境执行
# celery -A celery_tasks.main worker -1 info

• 3.创建broker配置文件config,选取Redis作为broker中间人

config.py

# 配置信息
# 使用Redis作为中间人broker

# 用于使用和生成的代理连接指定不同的连接参数--broker使用的库
broker_url = "redis://127.0.0.1/14"
# 后端用于存储任务结果
result_backend = "redis://127.0.0.1/15"

• 4创建任务

文件夹>tasks(必须一tasks命名任务文件)

'''
1.任务
    1.必须命名为tasks,因为我们的Celery实例对象会自动检测任务,检测任务的文件 必须是 tasks
    2.我们的任务必须经过Celery的实例对象的　task装饰器才能被Celery的 worker调用执行
2.broker
3.worker
'''
# 创建的任务
from libs.yuntongxun.sms import CCP
from celery_tasks.main import app

@app.task
def send_sms_code(mobile,sms_code):
    CCP().send_template_sms(mobile,[sms_code,5],1)

5.开启worker自动检测任务

worker 是通过命令行执行的，用户处理任务队列broker的任务,
如果worker没有开启，我们添加到broker的任务会等待worker开启后再执行(即我们的任务要被worker消费)

#  worker 是通过命令行执行的
#  命令格式：celery -A celery　实例对象的文件路径 worker -1 info
# 在虚拟环境执行
# celery -A celery_tasks.main worker -1 info

6.delay添加到任务队列

回到实现业务逻辑的代码，使用delay将任务添加到celery的任务队列，让celery实现对耗时功能的异步处理

from celery_tasks.sms.tasks import send_sms_code

#delay 的参数和 send_sms_code 任务的参数是对应的
#delay将任务添加到任务队列　
send_sms_code.delay(mobile,sms_code)

小白总结，如有错误，还请多多指教