Blog项目——celery
一、介绍
并发:两个或多个事件在同一时间发生。
并行:两个或多个事件在同一时刻段间隔发生
或者用另一个思路,如果你的cpu只有两个核。此时:
并发:这个cpu一起执行2个以上的代码块(核数不够执行代码块数)。最常见的就是利用时间片轮转,给每个代码一个执行事件。
并行:这个cpu一起执行两个或一个代码块(核数大于执行代码块数)
任务队列:一种跨线程、跨机器工作的一种机制.
任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列,并从中获得新的任务并处理.
celery通过消息进行通信,通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中,broker将队列中的信息派发给worker来处理。
一个celery系统可以包含很多的worker和broker,可增强横向扩展性和高可用性能。
- broker:broker是消息传输中间件,任务调度队列,接收生产者发出的消息,将任务存入队列。broker 负责协调客户端和 worker 的沟通。客户端向队列添加消息,broker 负责把消息派发给 worker。
- worker: worker 是一个独立的进程,任务执行单元,它持续监视队列中是否有需要处理的任务;
- backend:backend 存储任务执行结果,同消息中间件一样,需要由其他存储系统提供支持
执行流程
二、使用场景
Celery是一个使用Python开发的分布式任务调度模块,因此对于大量使用Python构建的系统,可以说是无缝衔接,使用起来很方便。Celery专注于实时处理任务,同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。
再回到我们的项目:我们现在的流程是当用户在浏览器点击发送验证码后,我们的后台经过处理,往云通讯平台发送申请接着就是等待响应,我们根据响应的结果来处理接下来的事情。
但是会发现,如果同时有多个人和我们进行交互的时候,我们的后台还是一次一次的取调用接口,访问和等待响应,如果每次发送信息都是3s,则会造成很不好的用户体验。因此我们这里就可以使用celecy去提高我们的代码效率和升级用户体验。
三、代码
1 安装celery
pip install celery
下面是一个最简单的celery发送邮箱的代码:
# tasks.py
import time
from celery import Celery
celery = Celery('tasks', broker='redis://localhost:6379/0')
@celery.task
def sendmail(mail):
print('sending mail to %s...' % mail['to'])
time.sleep(2.0)
print('mail sent.')
然后启动Celery处理任务:
$ celery -A tasks worker --loglevel=info
上面的命令行实际上启动的是Worke
如何发送任务?非常简单:
>>> from tasks import sendmail
>>> sendmail.delay(dict(to='celery@python.org'))
<AsyncResult: 1a0a9262-7858-4192-9981-b7bf0ea7483b>
2 基础配置
- 首先,在项目根目录创建一个python包名为“celery_task”
在里面创建一个名为”config“的python文件:
config.py
broker_url = "redis://127.0.0.1/15"
- 在celery_task目录下创建main.py文件,用于作为celery的启动文件
main.py
from celery import Celery
# 为celery使用django配置文件进行设置
import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
os.environ['DJANGO_SETTINGS_MODULE'] = 'my_projects.settings'
# 创建celery应用/实例
app = Celery('send_sms')
# 导入celery配置
app.config_from_object('celery_task.config')
# 自动注册celery任务
app.autodiscover_tasks(['celery_task.sms'])
这里的autodiscover_tasks会自动再注册的文件中寻找“tasks.py”文件(或者使用related_name参数)
- 在celery_task目录下创建sms目录,用于放置发送短信的异步任务相关代码。
- 在celery_task/sms/目录下创建task.py文件,用于保存发送短信的异步任务
task.py
# -*- coding: utf-8 -*-