目录
一、 celery介绍
Celery 官网:http://www.celeryproject.org/
Celery 官方文档英文版:http://docs.celeryproject.org/en/latest/index.html
# celery:芹菜,分布式的异步任务框架
⭐celery能干什么:异步任务,延迟任务,定时任务
-异步执行:解决耗时任务,将耗时操作任务提交给Celery去异步执行,比如发送短信/邮件、消息推送、音视频处理等等、
-延迟执行:解决延迟任务
-定时执行:解决周期(周期)任务,比如每天数据统计
"""
1)可以不依赖任何服务器,通过自身命令,启动服务
2)celery服务为为其他项目服务提供异步解决任务需求的
注:会有两个服务同时运行,一个是项目服务,一个是celery服务,项目服务将需要异步处理的任务交给celery服务,celery就会在需要时异步完成项目的需求
人是一个独立运行的服务 | 医院也是一个独立运行的服务
正常情况下,人可以完成所有健康情况的动作,不需要医院的参与;但当人生病时,就会被医院接收,解决人生病问题
人生病的处理方案交给医院来解决,所有人不生病时,医院独立运行,人生病时,医院就来解决人生病的需求
"""
Celery is a project with minimal funding, so we don’t support Microsoft Windows. Please don’t open any issues related to that platform
Sanic:python3.5以上,不支持win
-选择使用mac开发
-装乌班图
-win远程连接linux开发
uwgi(不支持win)+django
二、 celery架构
# 消息中间件(broker)
Celery本身不提供消息服务,但是可以方便的和第三方提供的消息中间件集成。包括, Redis等等
# 任务执行单元(workers)
Worker是Celery提供的任务执行的单元,worker并发的运行在分布式的系统节点中(本质,一个work就是一个进程)。
# 任务结果存储(backend)
Task result store用来存储Worker执行的任务的结果,Celery支持以不同方式存储任务的结果,包括 redis等
三、 celery基本使用
# 安装:
pip install celery
# win上启动work
## 4.x版本及之前
pip install eventlet
celery worker -A celery_task -l info -P eventlet
## 5.x版本
pip install eventlet
celery -A celery_task worker -l info -P eventlet
# linux中启动work
celery worker -A celery_task -l info
celery -A celery_task worker -l info
# 启动beat的命令(负责每隔几秒钟,向任务队列中提交任务)
celery beat -A celery_task -l info
两种celery任务结构:提倡用包管理,结构更清晰
如果 Celery对象:Celery(...) 是放在一个模块下的
1)终端切换到该模块所在文件夹位置:scripts
2)执行启动worker的命令:celery worker -A 模块名 -l info -P eventlet
注:windows系统需要eventlet支持,Linux与MacOS直接执行:celery worker -A 模块名 -l info
注:模块名随意
如果 Celery对象:Celery(...) 是放在一个包下的
1)必须在这个包下建一个celery.py的文件,将Celery(...)产生对象的语句放在该文件中
2)执行启动worker的命令:celery worker -A 包名 -l info -P eventlet
注:windows系统需要eventlet支持,Linux与MacOS直接执行:celery worker -A 模块名 -l info
注:包名随意
3.1 普通使用
新建celery_task.