什么是Celery
- Celery是一个简单、灵活且可靠的,处理大量消息的
分布式系统
,专注于实时处理的异步任务
队列,同时也支持任务调度。- 分布式: 不同的相关组件,架构在不同的服务器上;不同服务器上的不同组件之间通过消息通信的方式来实现协调工作,这种方式叫分布式
- 异步任务
celery架构
- Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成
- 消息中间件 ,RabbitMQ,redis
- 任务执行单元,Worker,执行任务
- 任务结果存储
- celery 封装了异步并发的实现,只用调用接口即可(它帮实现了 多进程+多协程的方式支持并发)
- celery 帮我们链接中间件,创建队列,插入数据
示例
- 消费者
- celery 执行了这个 task 后,celery 主动帮你监听2个异步任务
import celery
import time
backend = 'redis://127.0.0.1:6379/1' # 存储
broker = 'redis://127.0.0.1:6379/2' # 消息中间件,先用redis代替
cel = celery.Celery('test', backend=backend, broker=broker)
@cel.task
def send_email(name): # 声明一个 celery 的异步任务
print("向%s发送邮件..." % name)
time.sleep(5)
print("向%s发送邮件完成" % name)
return "ok"
@cel.task
def send_msg(name):
print("向%s发送短信..." % name)
time.sleep(5)
print("向%s发送短信完成" % name)
return "ok"
- 生产者
from celery_task import send_email, send_msg
result = send_email.delay("yuan") # 传递进去的,是 方法 send_email ,和参数 yuan
print(result.id)
result2 = send_msg.delay("alex")
print(result2.id)
- 获取结果
from celery.result import AsyncResult
from celery_task import cel
# id 是返回的任务id,本例子
async_result = AsyncResult(id="8782a442-3c9f-4115-8efc-de43a4b1c5a2", app=cel)
if async_result.successful():
result = async_result.get()
print(result)
# result.forget() # 将结果删除
elif async_result.failed():
print('执行失败')
elif async_result.status == 'PENDING':
print('任务等待中被执行')
elif async_result.status == 'RETRY':
print('任务异常后正在重试')
elif async_result.status == 'STARTED':
print('任务已经开始被执行')
celery 启动
- 用 celery 启动 celery_task
- -l是 --loginfo 日志,只要info的
celery -A celery_task worker -l info
celery 多任务项目结构
- celery.py 配置
- task01 分类放置任务
- produce_task 触发器
├── celery_tasks
│ ├── __init__.py
│ ├── celery.py
│ ├── task01.py
│ └── task02.py
├── check_result.py
└── produce_task.py
定时任务
简单目录下调用
- 只是执行的方式换一下即可
- 异步任务,用 result = send_email.delay(“yuan”)
- 定时任务,用 result = send_email.apply_async(args=[“egon”,], eta=v2)
from celery_task import send_email
from datetime import datetime
# 方式一
# v1 = datetime(2020, 3, 11, 16, 19, 00)
# print(v1)
# v2 = datetime.utcfromtimestamp(v1.timestamp())
# print(v2)
# result = send_email.apply_async(args=["egon",], eta=v2)
# print(result.id)
# 方式二
ctime = datetime.now()
# 默认用utc时间
utc_ctime = datetime.utcfromtimestamp(ctime.timestamp())
from datetime import timedelta
time_delay = timedelta(seconds=10)
task_time = utc_ctime + time_delay
# 使用apply_async并设定时间
result = send_email.apply_async(args=["egon"], eta=task_time)
多目录项目定时任务
- 要在celery配置文件加入定时配置
from celery import Celery
from datetime import timedelta
from celery.schedules import crontab
cel = Celery('celery_demo',
broker='redis://127.0.0.1:6379/1',
backend='redis://127.0.0.1:6379/2',
# 包含以下两个任务文件,去相应的py文件中找任务,对多个任务做分类
include=['celery_tasks.task01',
'celery_tasks.task02'
])
# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False
cel.conf.beat_schedule = {
# 名字随意命名
'add-every-10-seconds': {
# 执行tasks1下的test_celery函数
'task': 'celery_tasks.task01.send_email',
# 每隔2秒执行一次
# 'schedule': 1.0,
# 'schedule': crontab(minute="*/1"),
'schedule': timedelta(seconds=6),
# 传递参数
'args': ('张三',)
},
# 'add-every-12-seconds': {
# 'task': 'celery_tasks.task01.send_email',
# 每年4月11号,8点42分执行
# 'schedule': crontab(minute=42, hour=8, day_of_month=11, month_of_year=4),
# 'args': ('张三',)
# },
}
- 启动定时任务触发器 , beat 启动
celery -A celery_tasks beat -l info
题外话
感兴趣的小伙伴,赠送全套Python学习资料,包含面试题、简历资料等具体看下方。
👉CSDN大礼包🎁:全网最全《Python学习资料》免费赠送🆓!(安全链接,放心点击)
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python兼职渠道推荐*
学的同时助你创收,每天花1-2小时兼职,轻松稿定生活费.
三、最新Python学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉CSDN大礼包🎁:全网最全《Python学习资料》免费赠送🆓!(安全链接,放心点击)
若有侵权,请联系删除