python异步处理_Python Flask后端异步处理（二）

在实际的应用场景中，如用户注册，用户输入了注册信息后，后端保存信息到数据库中，然后跳转至登录界面，这些操作用户需要等待的时间非常短，但是如果是有耗时任务，比如对输入的网址进行漏洞扫描，在后端处理就会花费几分钟的时间，不可能让用户等待页面刷新几分钟，所以需要进行后端异步处理。之前使用的后端异步处理时Python的原生线程/进程实现，简洁暴力，自己用的话还行，但是如果是给用户用，就还存在一些不足，现考虑使用Celery替换掉原生线程/进程异步处理。

Celery

Celery是个Python语言实现的异步分布式任务队列服务，除了支持即时任务，还支持定时任务，Celery有五个核心角色。

Task 任务

任务(Task)就是你要做的事情，例如一个注册流程里面有很多任务，给用户发验证邮件就是一个任务，这种耗时的任务就可以交给Celery去处理，还有一种任务是定时任务，比如每天定时统计网站的注册人数，这个也可以交给Celery周期性的处理。

Broker 经纪人，队列，消息传递者

Broker 的中文意思是经纪人，指为市场上买卖双方提供中介服务的人。在Celery中这个角色相当于数据结构中的队列，介于生产者和消费者之间经纪人。例如一个Web系统中，生产者是主程序，它生产任务，将任务发送给 Broker，消费者是 Worker，是专门用于执行任务的后台服务。Celery本身不提供队列服务，一般用Redis或者RabbitMQ来实现队列服务。

Worker 执行者，消费者

Worker 就是那个一直在后台执行任务的人，也成为任务的消费者，它会实时地监控队列中有没有任务，如果有就立即取出来执行。

Beat 定时任务调度器

Beat 是一个定时任务调度器，它会根据配置定时将任务发送给 Broker，等待 Worker 来消费。

Backend 执行结果

Backend 用于保存任务的执行结果，每个任务都有返回值，比如发送邮件的服务会告诉我们有没有发送成功，这个结果就是存在Backend中，当然我们并不总是要关心任务的执行结果。

接下来编写一个简单的python程序来学习使用Celery

首先是安装Celery，因为我的开发平台是Windows，Celery新版是不支持Windows操作系统的，需要下载老版本的，这里参考github上Celery开发者的回答：

下载3.1.24版本的Celery

pip3 installcelery==3.1.24

此外还要下载Reids，并且启动Redis的服务，此处百度

创建Celery实例

# task.py

from celery import Celery

​

app = Celery('task', broker='redis://localhost:6379/0')

创建任务

#task.py

@app.task

def send_mail(email):

print("send mail to ", email)

import time

time.sleep(5)

return "success"

默认读者有flask基础，另外这里使用app.task 包装 send_email , 使其成为后台运行的任务

函数使用app.task装饰器修饰之后，就会成为Celery中的一个Task。

启动Worker

启动Worker，监听Broker中是否有任务

celery worker

可以带参数如

celery -A task worker --loglevel=info

-A： 指定 celery 实例所在哪个模块中，--loglevel：显示日志等级

运行后如下

调用任务

在主程序中调用任务，调任务发送给Broker，跟开一个多线程和多进程类似，相当于是把任务丢给了Broker，主程序继续向下执行。

from task import send_mail

​

def register():

import time

start = time.time()

print("1. 插入记录到数据库")

print("2. celery 帮我发邮件")

send_mail.delay("xx@gmail.com")

print("3. 告诉用户注册成功")

print("耗时：%s 秒 " % (time.time() - start))

​

if __name__ == '__main__':

register()

因为send_mail被app.task装饰器修饰了，所以我们想要把任务丢给它，使用函数的 .delay方法即可

目录结构为:

── Celery测试

├── task.py

└── user.py

运行user.py，查看运行结果为：

可知

time.sleep(5)

被丢到后台去执行了，所以花费时间这么短。如果按照正常的同步逻辑去实现，至少需要5秒钟的时间，因为存在time.sleep(5)来模拟发送邮件。

在worker服务窗口查看日志信息

跟着大佬们的博客学习了Celery的基本操作，大部分时间去安装环境了，淦

将Celery添加进碎遮项目会在下一篇博客中说到。

请听下回分解 咕咕咕

安装出现的错误

File "d:\python3\lib\site-packages\celery\concurrency\prefork.py", line 20, in from celery.concurrency.base import BasePoolFile "d:\python3\lib\site-packages\celery\concurrency\base.py", line 21, in from celery.utils import timer2File "d:\python3\lib\site-packages\celery\utils\timer2.py", line 19from kombu.async.timer import Entry, Timer as Schedule, to_timestamp, logger^SyntaxError: invalid syntax

这个是python3.7目前不支持kombu，降低python版本至3.6即可，(又得重新装一波python，没装conda呜呜呜，卸载之前先把python的类库输出到requirements.txt文件

弄好了之后再把之前python3.7的库文件恢复到python3.6里面来

pip3 install -r requirements.txt

弄好了之后重新打开python的集成开发环境

celery -A task worker --loglevel=info

可算能运行Celery了

接着运行程序的时候又遇到了

AttributeError: 'str' object has no attribute 'items'

出现该问题的原因是redis版本过高，降低redis版本即可

pip3 install redis==2.10.6

然后就没有遇到其他的坑了，遇到再补:D

参考链接