Celery的使用（django项目实例）

前文：Celery中文文档：http://docs.jinkan.org/docs/celery/getting-started/first-steps-with-celery.html#first-steps
版本容易踩坑，本文版本为：

• celery 3.1.26.post2
• django-celery 3.3.0
• django-redis 4.10.0
• redis 2.10.6

Celery的介绍

Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery， 举几个实例场景中可用的例子:

• 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情。
• 你想做一个定时任务，比如每天检测一下你们所有客户的资料，如果发现今天 是客户的生日，就给他发个短信祝福

Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis,后面会讲

Celery的核心模块

Celery有一下5个核心角色
Task
就是任务，有异步任务和定时任务
Broker
中间人，接收生产者发来的消息即Task，将任务存入队列。任务的消费者是Worker。Celery本身不提供队列服务，推荐用Redis或RabbitMQ实现队列服务。
Worker
执行任务的单元，它实时监控消息队列，如果有任务就获取任务并执行它。
Beat
定时任务调度器，根据配置定时将任务发送给Broler。
Backend
用于存储任务的执行结果。
各个角色间的关系看下面这张图理解一下：

Celery优点和流程

Celery有以下优点：

• 简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的
• 高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行任务
• 快速：一个单进程的celery每分钟可处理上百万个任务
• 灵活： 几乎celery的各个组件都可以被扩展及自定制

Celery基本工作流程图：

安装Celery

同时需要安装中间人broker，通常是RabbitMQ或者Redis，自行百度安装
这是redis和celery同时安装:

pip install -U "celery[redis]"

安装RabbitMQ:

sudo apt-get install rabbitmq-server

简单的使用celery

from celery import Celery
# broker是指定中间存储，backend是结果存储
app = Celery('tasks',
             broker='redis://127.0.0.1/3',
             backend='redis://127.0.0.1/3')

# app = Celery('tasks',broker='amqp://192.168.3.108',backend='rpc://192.168.3.108',  # 新版本rpc将初步替代amqp，用的还是RabbitMQ# backend='amqp://192.168.3.108',  # 如果是旧版本，没有rpc，那只能用amqp)

# 创建任务函数
@app.task
def work1():
    print('这是任务1')
    
# 任务的发布,delay这里填函数参数
work1.delay()

启动celery，在终端启动
celery -A 任务模块名 worker -l info

django项目中使用celery

在项目文件夹下创建一个python package文件夹，取名为celery_tasks，里面分别创建启动文件main.py，配置文件config.py
config.py内容，需要大写，这里的re