详谈celery的使用一

一、celery简介

    celery是python中为数不多的且较为成熟的异步消息处理框架，主要使用场景有：要耗时较长的任务，又不能阻塞主线程，可以将该任务作为异步任务来处理。如在web后台中，执行一次爬虫爬取100个页面的任务，就可以作为一个异步任务来处理。celery 不仅包括了消息处理，甚至还具有任务调度的功能，其功能强大，使用方便，性能优良，在分布式消息处理的场景中，经常能见到celery的身影。截止到目前，最新的版本是4.4.7，详见官方网址：https://docs.celeryproject.org/en/stable/。Celery具有简单、灵活且可靠的，能处理大量消息的特点，参照官网准确叫法是分布式任务队列。

二、celery 的整体架构

Celery由三部分组成，如下图所示：

1）、消息中间件（message broker），

broker 是消息服务， 主要负责消息的收发。celery本身不提供消息服务，需要借助第三方消息中间件来提供消息服务，如传统的

redis、RabbitMQ、Zookeeper等。

2）、任务执行单元（worker）

消息的消费者，也就是具体的任务处理单元，有多个worker实例时，是并发执行的。

3）、任务执行结果存储（task result store）

worker执行完成后，存储结果的地方，，Celery支持以不同方式存储任务的结果，可以是redis等消息队列，也可以是传统的数据库后端。

三、celery的简单使用

首先安装

pip install celery

celery最新版本支持python3，安装完成后检查系统中是否含有终端命令，在命令行中可输入celery, tab键看是否能补全，

celery的使用有2个关键点，一是celery的配置，二是将一个任务(函数执行单元)标注为celery的task。

先启动redis 服务，在命令行下输入redis-server.exe ,默认端口：6379。

tasks.py 代码：

import celery
import time
import requests
# 结果存储后端
backend = 'redis://127.0.0.1:6379/0'
broker = 'redis://127.0.0.1:6379/1'
cel = celery.Celery("celTask", backend=backend, broker=broker)

# 启动celery
cel.worker_main()

# 绑定具体的任务，task应分拆到不同的文件中
@cel.task
def downLoadImg(imgUrl):
    # https://ss0.bdstatic.com/70cFuHSh_Q1YnxGkpoWK1HF6hhy/it/u=1004751771,258639247&fm=26&gp=0.jpg
    imgObj = requests.get(url=imgUrl)
    time.sleep(10)
    return type(imgObj)

启动celery实例：

celery.exe -A tasks worker -l debug -P eventlet

启动成功后可以看到日志，如下图：

执行任务：

在对应的逻辑中，import task ,直接调用dowLoadImg即可。