redis+celery使用

celery简介

什么是任务队列

任务队列一般用于线程或计算机之间分配工作的一种机制。

任务队列的输入是一个称为任务的工作单元，有专门的职程（Worker）进行不断的监视任务队列，进行执行新的任务工作。

Celery 通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。启动一个任务，客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间人（Broker）分配的任务。

Celery 可以有多个职程（Worker）和中间人（Broker），用来提高Celery的高可用性以及横向扩展能力。

Celery 是用 Python 编写的，但协议可以用任何语言实现。除了 Python 语言实现之外，还有Node.js的node-celery和php的celery-php。

可以通过暴露 HTTP 的方式进行，任务交互以及其它语言的集成开发。

Celery 需要消息中间件来进行发送和接收消息。 RabbitMQ 和 Redis 中间人的功能比较齐全，但也支持其它的实验性的解决方案，其中包括 SQLite 进行本地开发。

Celery 可以在一台机器上运行，也可以在多台机器上运行，甚至可以跨数据中心运行。

使用Redis作为中间人

如果使用 Redis 作为中间人（Broker）必须要安装 Celery 的依赖库，您可以通过 celery[redis] 进行安装：

pip install celery

当然，前提是你已经安装了redis，如果是centos7，需要手动下载，源码安装，yum安装的版本过低(貌似是v3.0.8)，会出现django无法连接redis。

应用

创建第一个 Celery 实例程序，我们把创建 Celery 程序成为 Celery 应用或直接简称 为 app，创建的第一个实例程序可能需要包含 Celery 中执行操作的所有入口点，例如创建任务、管理职程（Worker）等，所以必须要导入 Celery 模块。
在本例中将所有的内容，保存为一个 app 文件中。针对大型的项目，可能需要创建 独立的模块。
首先创建 tasks.py：

from celery import Celery
# app = Celery('tasks', broker='amqp://guest@localhost//')
app = Celery('tasks', broker='redis://localhost:6379/0')
"""
第一个参数为当前模块的名称，只有在 __main__ 模块中定义任务时才会生产名称。
第二个参数为中间人（Broker）的链接 URL ，实例中使用的 RabbitMQ（Celery默认使用的也是RabbitMQ）。
我比较喜欢使用 Redis 作为中间人（Broker），对于新上手的建议使用 Redis 作为中间人（Broker），
因为我觉得 Redis 比 RabbitMQ 好用一点。
broker = 'redis://localhost:6379/0'	如果加了认证，就需要 'redis://:requirepass@localhost:6379/0'
"""

@app.task
def add(x, y):
    return x + y
    

运行 Celery Worker服务

celery -A proj_name worker -l info

proj_name 项目名称，如果不在项目下运行，需要写绝对路径，例如/root/proj_name

启动beat

celery -A proj_name worker -l info --beat

而后每一次的调用add都会被celery的worker消费