celery 学习笔记 01-介绍
celery 是 python 中的常用的任务队列框架,经常用于异步调用、后台任务等工作。celery 本身以 python 写,但协议可在不同的语言中实现,其它语言也可以用 celery 执行相应的任务。在 web 应用,为提高系统响应速度,发送邮件、数据整理等需要长时间执行的任务,通常以异步任务的方式执行,这时就需要用到像 celery 类的框架。另一种常见的场景是大型系统的分布式处理,为了提升系统性能,各个组件通常以多个实例运行不同主机上,而组件之间的调用就需要用到 celery 这样的框架。使用 celery (或消息队列),有助于降低系统组件之间的耦合,有助于实现灰度发布、实现服务的分布式、实现水平扩展,最终提升系统健壮性和处理性能。
celery (和类似框架)的核心是任务队列。用户发起任务,celery 负责把任务排队和整理,然后交到任务执行器 worker 中。 worker 监视任务队列,获取新任务并执行。在 celery 内部,以消息机制协调各个组件工作,消息需要借助一个中间人 broker 进行,如下 ::
client → celery task → broker → celery worker
↑ ↓
← ← ← ← result backend
client 发起任务时,一般是以异步方式(除非必要的同步 rpc ),获得一个任务的 id 并保存下来,后续可通过 id 到 result backend 中查询任务执行结果。broker 是第三方组件,可使用消息队列( rabbitmq 等)、redis、数据库等,只要能实现消息的存储和分发理论上都能使用。 worker 以线程或进程的形式运行,从 broker 中取任务执行,然后把结果保存到 result backend 。
目前 rabbitmq 的 broker 实现的功能最完备,在开发环境中也可以使用 sqlite 等比较方便的方式,但性能会很差,不能用在生产环境上。
另外需要注意的是,由于不同操作系统的进程模型的差异,celery 会在 windows 上产生一些配置方面的怪异问题。
celery 可直接通过 pip 安装,在 virtualenv 下,直接运行 ::
pip install celery
再安装 broker 所需要的驱动,例如使用 rabbitmq ,则安装 ::
pip install amqp
同时安装好 rabbitmq (建议通过 docker 安装,使用 rabbitmq:management 镜像,可在 15672 端口查看管理控制台)。
然后使用下面的代码示例(摘录来自: Ask Solem. “Celery Manual, Version 3.1“) ::
# hello.py
from celery import Celery
app = Celery('hello', broker='amqp://guest:guest@localhost//')
@app.task
def hello():
return 'hello world'
if __name__ == '__main__':
r = hello.delay()
然后,启动 worker ::
celery -A hello worker --loglevel=info
client 执行任务 ::
python hello.py
app.task 装饰器标记一个函数为 celery 任务,client 用 delay 方法执行时。 delay 调用 apply_async() 进行异步执行, apply_async 还可配置如队列、countdown 等执行选项。 celery 返回一个 AsyncResult 对象,如果 result backend 配置正确,client 可暂时把对象中的任务 id 保存到数据库,后面再通过这个 id 获取异步执行的结果。
上面的简单例子是没有参数的,如果增加参数,如下 ::
# add.py
from celery import Celery
app = Celery('add', broker='amqp://guest:guest@localhost//',
backend='db+sqlite:///celery_result.db')
@app.task
def add(x, y):
return x+y
if __name__ == '__main__':
r = add.delay(1, 2)
print(r.wait())
启动 worker ::
celery -A add worker --l info
调用 ::
python add.py
当任务结果用 amqp 保存时,结果只能取一次, 因此无法在后续调用中查询任务结果。这个例子用 sqlite 保存了任务执行结果,因此 client 可在 r.wait() 查询任务的结果、任务的状态等等很多信息,可把 r.id 保存到数据库,然后未来查询任务的 AsyncResult ::
r2 = app.AsyncResult(r.id)
print(r2.wait())
print(r2.successful())
add.py 中使用了两个参数 x y ,而 celery 需要通过 broker 传递这两个参数,这时需要对数据进行序列化,将 x y 对象转换为无结构的数据,然后 worker 接收到后再把数据还原为 x y 对象。 celery 内置的序列化方法包括 pickle 、 json 等等,如果对象比较复杂,需要自己定义序列化方法。
如果不想立即执行任务,而是把任务传递到其它地方,通过 celery 的 subtask 支持。 subtask 是对 task 的调用参数和执行选项的一个封装,如 ::
add.subtask((2,2), countdown=10)
add.s(2,2)
subtask 或 s 返回的是一个 task 的签名(celery.canvas.Signature),它可实现工作流、偏函数等效果。subtask 支持和 task 同样的调用方法,如 ::
s = add.s(2) # subtask ,partial
s.delay(2) # 发送消息开始异步执行
在 celery 工作流中组织 subtask 的方式有 group / chain / chord 等等, group 中任务并发执行,chain 中任务顺序执行,chord 中进行回调。而这些组织方式本身也是 subtask ,可嵌套使用 ::
# workflow.py
from celery import Celery, group, chain
app = Celery('add', broker='amqp://guest:guest@localhost//',
backend='db+sqlite:///celery_result.db')
@app.task
def add(x, y):
return x+y
if __name__ == '__main__':
g = group((add.s(i, i) for i in range(10)))
r = g.delay()
print(r.get())
c = chain(add.s(1, 2) | add.s(3))
r2 = c.delay()
print(r2.get())
celery 的任务调用通过网络发送任务的名字和参数,不发送任务代码, worker 收到任务后根据任务名和参数执行相应的代码。因此不同 worker 中的代码版本不一样时,会有不同的处理结果。如果 worker 中不能处理相应的任务名,就会报错。