Django+Celery实现异步任务以及RabbitMQ

一.Django+Celery实现异步任务

1.1 Celery介绍

celery是一个强大的分布式任务队列的异步处理模块，可以让执行的任务完全脱离主程序，我们通常使用它来实现异步任务（async task）和定时任务（crontab）
Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储backend（task result store）组成

可以看到，Celery 主要包含以下几个模块：

任务模块 Task
包含异步任务和定时任务。其中，异步任务通常在业务逻辑中被触发并发往任务队列，而定时任务由 Celery Beat 进程周期性地将任务发往任务队列。

消息中间件 Broker
Broker，即为任务调度队列，接收任务生产者发来的消息（即任务），将任务存入队列。Celery 本身不提供队列服务，官方推荐使用 RabbitMQ 和 Redis 等。

任务执行单元 Worker
Worker 是执行任务的处理单元，它实时监控消息队列，获取队列中调度的任务，并执行它。

任务结果存储 Backend
Backend 用于存储任务的执行结果，以供查询。同消息中间件一样，存储也可使用 RabbitMQ, redis 和 MongoDB 等。

所以总结一下celery：它是一个处理大量消息的分布式系统，能异步任务、定时任务，使用场景一般用于耗时操作的多任务或者定时性的任务

1.2 Celery模塊安裝/使用

pip install celery
celery中常用方法
task.delay():这是apply_async方法的别名,但接受的参数较为简单；
task.apply_async(args=[arg1, arg2], kwargs={key:value, key:value})
send_task():可以发送未被注册的异步任务，即没有被celery.task装饰的任务；
routing_key:自定义路由键；

queue：指定发送到哪个队列；
exchange：指定发送到哪个交换机；
priority：任务队列的优先级，0-9之间；
serializer：任务序列化方法；通常不设置；
compression：压缩方案，通常有zlib, bzip2
headers：为任务添加额外的消息；
link：任务成功执行后的回调方法；是一个signature对象；可以用作关联任务；
link_error: 任务失败后的回调方法，是一个signature对象；

自定义发布者,交换机,路由键, 队列, 优先级,序列方案和压缩方法:

task.apply_async((2,2), 
    compression='zlib',
    serialize='json',
    queue='priority.high',
    routing_key='web.add',
    priority=0,
    exchange='web_exchange')
   # 注意，celery4版本后，CELERY_BROKER_URL改为BROKER_URL
BROKER_URL