什么是Celery
- Celery是一个简单、灵活且可靠的,处理大量消息的
分布式系统
,专注于实时处理的异步任务
队列,同时也支持任务调度。- 分布式: 不同的相关组件,架构在不同的服务器上;不同服务器上的不同组件之间通过消息通信的方式来实现协调工作,这种方式叫分布式
- 异步任务
celery架构
- Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成
- 消息中间件 ,RabbitMQ,redis
- 任务执行单元,Worker,执行任务
- 任务结果存储
- celery 封装了异步并发的实现,只用调用接口即可(它帮实现了 多进程+多协程的方式支持并发)
- celery 帮我们链接中间件,创建队列,插入数据
示例
- 消费者
- celery 执行了这个 task 后,celery 主动帮你监听2个异步任务
import celery
import time
backend = 'redis://127.0.0.1:6379/1' # 存储
broker = 'redis://127.0.0.1:6379/2' # 消息中间件,先用redis代替
cel = celery.Celery('test', backend=backend, broker=broker)
@cel.task
def send_email(name): # 声明一个 celery 的异步任务
print("向%s发送邮件..." % name)
time.sleep(5)
print("向%s发送邮件完成" % name)
return "ok"
@cel.task
def send_msg(name):
print("向%s发送短信..." % name)
time.sleep(5)
print("向%s发送短信完成" % name)
return "ok"
- 生产者
from celery_task import send_email, send_msg
result = send_email.delay("yuan") # 传递进去的,是 方法 send_email ,和参数 yuan
print(result.id)
result2 = send_msg.delay("alex")
print(result2.id)
- 获取结果
from celery.result import AsyncResult
from celery_task import cel
# id 是返回的任务id,本例子
async_result = AsyncResult(id="8782a442-3c9f-4115-8efc-de43a4b1c5a2", app=cel)
if async_result.successful():
result = async_result.get()
print(result)
# result.forget() # 将结果删除
elif async_result.failed():
print('执行失败')
elif async_result.status == 'PENDING':
print('任务等待中被执行')
elif async_result.status == 'RETRY':
print('任务异常后正在重试')
elif async_result.status == 'STARTED':
print('任务已经开始被执行')
celery 启动
- 用 celery 启动 celery_task
- -l是 --loginfo 日志,只要info的
celery -A celery_task worker -l info
celery 多任务项目结构
- celery.py 配置
- task01 分类放置任务
- produce_task 触发器
├── celery_tasks
│ ├── __init__.py
│ ├── celery.py
│ ├── task01.py
│ └── task02.py
├── check_result.py
└── produce_task.py
定时任务
简单目录下调用
- 只是执行的方式换一下即可
- 异步任务,用 result = send_email.delay(“yuan”)
- 定时任务,用 result = send_email.apply_async(args=[“egon”,], eta=v2)
from celery_task import send_email
from datetime import datetime
# 方式一
# v1 = datetime(2020, 3, 11, 16, 19, 00)
# print(v1)
# v2 = datetime.utcfromtimestamp(v1.timestamp())
# print(v2)
# result = send_email.apply_async(args=["egon",], eta=v2)
# print(result.id)
# 方式二
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay
# 使用apply_async并设定时间
result = send_email.apply_async(args=["egon"], eta=task_time)
多目录项目定时任务
- 要在celery配置文件加入定时配置
from celery import Celery
from datetime import timedelta
from celery.schedules import crontab
cel = Celery('celery_demo',
broker='redis://127.0.0.1:6379/1',
backend='redis://127.0.0.1:6379/2',
# 包含以下两个任务文件,去相应的py文件中找任务,对多个任务做分类
include=['celery_tasks.task01',
'celery_tasks.task02'
])
# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False
cel.conf.beat_schedule = {
# 名字随意命名
'add-every-10-seconds': {
# 执行tasks1下的test_celery函数
'task': 'celery_tasks.task01.send_email',
# 每隔2秒执行一次
# 'schedule': 1.0,
# 'schedule': crontab(minute="*/1"),
'schedule': timedelta(seconds=6),
# 传递参数
'args': ('张三',)
},
# 'add-every-12-seconds': {
# 'task': 'celery_tasks.task01.send_email',
# 每年4月11号,8点42分执行
# 'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
# 'args': ('张三',)
# },
}
- 启动定时任务触发器 , beat 启动
celery -A celery_tasks beat -l info
如果你对Python感兴趣,想要学习python,这里给大家分享一份Python全套学习资料,都是我自己学习时整理的,希望可以帮到你,一起加油!
😝有需要的小伙伴,可以V扫描下方二维码免费领取🆓
1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~
③练习题
每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
2️⃣国内外Python书籍、文档
① 文档和书籍资料
3️⃣Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
②Python实战案例
光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
③Python小游戏源码
如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
4️⃣Python面试题
我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。