Celery框架

引入

例如注册的时候希望服务器发送验证码，服务器请求第三方发送验证码的时候，网络状态不佳，一直没有给客户端响应，那么客户端就一直等着，体验极差。服务器如果处理一些耗费时间较长的任务，用户得到响应的时间就会越长，用户体验是不好的。那么，我们希望有这么一个第三方，服务器把耗时的任务打包，交给第三方处理，自己却去响应用，这样就减短了响应时间。这个第三方就是celery。

Celery介绍

Celery是一个功能完备即插即用的异步任务队列系统。它适用于异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。

Celery的架构

Celery的架构由三部分组成，消息队列（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

Celery的流程

在知道Celery的架构之后，我们就可以根据上面的插图对Celery的工作流程做一个讲解，主要思想就是生产者消费者模式的思想：

1. 我们的服务器想要处理一个耗时的任务，那么它就将任务代码打包好，发送到任务队列中，后面会说到，这个任务队列可以用redis来存储；
2. Celery作为任务执行者，会轮询任务队列，一旦查到任务队列遍将它取出来运行；
3. Celery执行完任务之后，如果成功执行，就将结果返回到结果队列中，如果执行失败，有两种选择，一种是返回到任务队列中重新执行，一种是将错误信息放到结果队列中；
4. 客户想要得到结果的时候，直接向结果队列中取就好了。

Celery的特点

• 简单，易于使用和维护，有丰富的文档。
• 高效，单个celery进程每分钟可以处理数百万个任务。
• 灵活，celery中几乎每个部分都可以自定义扩展。

一个celery系统可以包含很多的worker和broker，Celery本身不提供消息队列功能，但是可以很方便地和第三方提供的消息中间件进行集成，包括RabbitMQ,Redis,MongoDB等

celery安装

pip install celery