一、celery简介
celery是python中为数不多的且较为成熟的异步消息处理框架,主要使用场景有:要耗时较长的任务,又不能阻塞主线程,可以将该任务作为异步任务来处理。如在web后台中,执行一次爬虫爬取100个页面的任务,就可以作为一个异步任务来处理。celery 不仅包括了消息处理,甚至还具有任务调度的功能,其功能强大,使用方便,性能优良,在分布式消息处理的场景中,经常能见到celery的身影。截止到目前,最新的版本是4.4.7,详见官方网址:https://docs.celeryproject.org/en/stable/。Celery具有简单、灵活且可靠的,能处理大量消息的特点,参照官网准确叫法是分布式任务队列。
二、celery 的整体架构
Celery由三部分组成,如下图所示:
1)、消息中间件(message broker),
broker 是消息服务, 主要负责消息的收发。celery本身不提供消息服务,需要借助第三方消息中间件来提供消息服务,如传统的
redis、RabbitMQ、Zookeeper等。
2)、任务执行单元(worker)
消息的消费者,也就是具体的任务处理单元,有多个worker实例时,是并发执行的。
3)、任务执行结果存储(task result store)
worker执行完成后,存储结果的地方,,Celery支持以不同方式存储任务的结果,可以是redis等消息队列,也可以是传统的数据库后端。
三、celery的简单使用
首先安装
pip install celery
celery最新版本支持python3,安装完成后检查系统中是否含有终端命令,在命令行中可输入celery, tab键看是否能补全,
celery的使用有2个关键点,一是celery的配置,二是将一个任务(函数执行单元)标注为celery的task。
先启动redis 服务,在命令行下输入redis-server.exe ,默认端口:6379。
tasks.py 代码:
import celery
import time
import requests
# 结果存储后端
backend = 'redis://127.0.0.1:6379/0'
broker = 'redis://127.0.0.1:6379/1'
cel = celery.Celery("celTask", backend=backend, broker=broker)
# 启动celery
cel.worker_main()
# 绑定具体的任务,task应分拆到不同的文件中
@cel.task
def downLoadImg(imgUrl):
# https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=1004751771,258639247&fm=26&gp=0.jpg
imgObj = requests.get(url=imgUrl)
time.sleep(10)
return type(imgObj)
启动celery实例:
celery.exe -A tasks worker -l debug -P eventlet
启动成功后可以看到日志,如下图:
执行任务:
在对应的逻辑中,import task ,直接调用dowLoadImg即可。