Celery：分布式任务队列 简单上手

此文介绍 Celery 的基本用法。适合上手。

内容纲要：

0.概念。

1.选择并安装 Broker（消息传送）。

2.安装 Celery，并写一个任务。

3.运行 woker，并调用任务。

4.保存结果。

好，开始吧。

• 概念

Celery 是基于消息传递的异步任务队列。

它专注于实时操作,也支持调度。

执行单元,称为Task，并发执行，在一个或多个worker servers中，使用多处理，Eventlet或gevent。Task能异步执行（在后台）或同步执行(等到完成)。

• 选择并安装 Broker（消息传送）。

1.RabbitMQ

RabbitMQ 功能完备、稳定、耐用，并且安装简便，是生产环境的绝佳选择。

如果你使用 Ubuntu 或 Debian，可以执行这条命令来安装 RabbitMQ：

$ sudo apt-get install rabbitmq-server

2.Redis

Redis 也是功能完备的，但更易受突然中断或断电带来数据丢失的影响。

pip install -U celery[redis]

3.其它，如，数据库等。

• 安装 Celery，并写一个任务。

安装 Celery：

$ pip install celery

Celery 应用：

Celery 应用。用于你想在 Celery 中做一切事——比如创建任务、管理worker——的入口点。

它必须可以被其他模块导入。

创建 celery_task.py ：

from celery import Celery

app = Celery('tasks', broker='amqp://guest@localhost//')

@app.task

def add(x, y):

return x + y

Celery 的第一个参数是当前模块的名称，这个参数是必须的，这样的话名称可以自动生成。第二个参数是中间人关键字参数，指定你所使用的woker的 URL，此处使用了 RabbitMQ，也是默认的选项。对于 RabbitMQ 你可以写 amqp://localhost ，对于 Redis 你可以写 redis://localhost .

你定义了一个单一任务，称为 add ，返回两个数字的和。

• 运行 woker，并调用任务。

运行 worker：

$ celery -A tasks worker --loglevel=info

[tasks]

. celery_task.add

[2016-10-18 23:25:41,835: INFO/MainProcess] Connected to redis://guest@localhost:6379//

[2016-10-18 23:25:41,858: INFO/MainProcess] mingle: searching for neighbors

[2016-10-18 23:25:42,885: INFO/MainProcess] mingle: all alone

[2016-10-18 23:25:42,910: WARNING/MainProcess] celery@ubuntu ready.

调用任务：

简单的调用方式是delay()

>>> from celery_task import add

>>> add.delay(5,7)

<AsyncResult: 6d9561e9-26ae-4cbd-b651-38d365dd8897>

这时，在 worker 终端会有输出：

[2016-10-18 23:26:28,605: INFO/MainProcess] Received task: celery_task.add[6d9561e9-26ae-4cbd-b651-38d365dd8897]

[2016-10-18 23:26:28,608: INFO/MainProcess] Task celery_task.add[6d9561e9-26ae-4cbd-b651-38d365dd8897] succeeded in 0.00114864204079s: 12

• 保存结果

如果你想要保持追踪任务的状态，Celery 需要在某个地方存储或发送这些状态。举例使用后端：Redis。

app = Celery('celery_task', backend='redis://localhost' , broker='redis://guest@localhost//')

>>> from celery_task import add

>>> result = add.delay(5,9)

>>>

>>> result.status

'SUCCESS'

>>> result.ready()

True

>>> result.result

14

>>> result.state

'SUCCESS'