刨析django----celery

简介

• celery是基于python的分布式任务队列，一款简单、灵活、可靠的分布式系统。
• 可以在一台机器上运行，也可以在多台机器上运行。
• 任务队列一般用于线程或计算机之间分配工作的一种机制。
   

核心

1. task， 耗时的任务、定时任务
2. broker， 消息中间件，如redis/rabbitmq
3. worker, 执行者，并发执行（eventlet，gevent）
4. backend， 存储任务的结果，如redis/memcached/Django ORM;
   默认禁用，如果不需要结果则禁用；局部禁用 结果

@app.task(ignore_result=True)
def task():
	return 5

5. beat， 定时任务的调度器

功能

1. 监控集群状态
2. 任务调度
3. 内存泄漏保护

Celery配置项

app = Celery("myworker")
# 消息队列
app.conf.broker_url = ""
# 结果后台
app.conf.result_backend = ""
# 时区
app.conf.timezone = "Asia/Shanghai"

# 保存结果过期 s
app.conf.result_expires = 200

 
 

web框架集成

flask，
django,
在web框架中使用celery，需要为其创建一个包。

安装

pip install celery==4.4.7

# 同时安装依赖
pip install 'celery[gevent]'
pip install 'celery[redis]'

 
 

broker

rabbitmq

生产环境中的首选rabbitmq

# 只需简单配置
broker_url = 'amqp://myuser:mypassword@localhost:5672/myvhost'

rabbitmq官网

Ubuntu安装：

$ sudo apt-get install rabbitmq-server

docker运行：

$ docker run -d -p 5462:5462 rabbitmq

https://www.celerycn.io/ru-men/celery-chu-ci-shi-yong
 
 

在包中使用Celery

1. 目录结构如下，创建一个python包
   

2. 代码
   celery_module.py

"""
    基础设置
"""
from celery import Celery

# 实例化
app = Celery(
    "app_name", # app名称
    broker="redis://:laufing@127.0.0.1:6379/5", # 消息队列
    backend="redis://:laufing@127.0.0.1:6379/6", # 结果存储，默认禁用
    include=["pkg.tasks"], # celery启动时，需导入的模块，发现任务
    )

# 更新配置
app.conf.update(
    result_expires = 3600, # 结果过期时间
)

# 自动发现任务 同include 参数效果
app.autodiscover_tasks(packages=["celery_pkg"]) # 
#if __name__ == "__main__":
#    app.start()

     tasks.py

# 创建任务函数
import time
from .celery_module import app


# 定义任务
@app.task
def func1(a, b, c):
    n = 0
    while n < 3:
        time.sleep(3)
		print(n)
        n += 1
    return a + b + c


@app.task(ignore_result=True)
def func2(name):
    time.sleep(2)
    return name

     test.py

from celery_pkg.tasks import func1, func2


# 提交任务，异步执行
func1.delay(1, 2, 3)

func2.delay("jack")

print("任务已提交")

3. 启动worker进程，然后执行test.py

# windows  使用eventlet、gevent单线程的高并发---协程
# 在project 目录下
celery -A celery_pkg.celery_module.app worker -l info -P eventlet  -n laufing    
# -A 应用 --app   可以指定app的路径 或者  pkg （自动搜索celery模块下的app）
# -l log级别
# -f xxx.log 日志文件
# -P 并发池
# -c 并发数量
# -n 主机名 , 一台主机一个名字，起一个worker进程
# worker 开启进程  --help 

# linux  默认prefork 进程池
celery -A celery_pkg.celery_module.app worker -l info  

可以在多台机器上启动进程，实现分布式系统。

 
查看worker正在处理的任务:，仅指定包名时，需定义celery.py模块，会自动搜索pkg下的celery.py模块，从中获取app 。

#  检查集群中所有的worker正在执行的任务
celery -A pkg inspect active

# 监视 指定某些worker 正在执行的任务
celery -A pkg inspect active --destination=celery@laufing 
# --destination 指定节点 多个以逗号分隔

# 监控worker及执行的任务
celery -A pkg control enable_events
# 查看worker执行状况
celery -A pkg events --dump 
# 禁用事件
celery -A pkg control disable_events

# 查看集群中在线 的worker列表
celery -A pkg status

 

失败任务重试

worker进程在执行一个任务时，如果失败，可以一段时间后再次尝试。

# tasks.py定义任务
from .celery import app


@app.task(bind=True)
def send_mail(task, subject, message, sender, receivers):
	# task 当前任务对象 
	try:
		print("start to send mail.")
		raise ValueError("模拟错误")
	except ValueError as e:
		# 任务重试
		task.retry(exc=e, throw=True, countdown=10, max_retries=3)
		

  exc：抛出的异常
  throw：通知worker是重试任务
  eta：重试的时间／日期
  countdown：多久之后重试一次（默认3分钟）
  max_retries：最大重试次数（默认3次）

 

celery定时任务

1. 配置 定时任务调度器

# celery.py 内部
from celery.schedules import crontab


# 定时任务调度器
beat_shedule = {
	"task1":{
		"task": "pkg.tasks.func1", # 任务函数
		"schedule": crontab(minute="*/3"), # 每分钟执行3次，将任务提交到任务队列
		"args": (), # 任务函数的参数
		"kwargs":{}
	},
	"task2": {},
	"task3": {},
}

# 更新配置
app.conf.update({
	"beat_schedule": beat_schedule
})

2. 启动 定时任务调度器

# window启动worker进程
celery -A pkg worker -l info -P eventlet -n laufing
# 启动， 会定时提交任务到异步队列
celery -A pkg beat -l info

3. 定时任务遇到的问题
   
4. 解决方案
   删除之前启动定时任务的相关文件

以上可以直接在Django中使用Celery的定时任务
 
 

后台启动worker进程

linux下：， 注意window平台不支持

# 后台启动 multi start
celery -A pkg multi start my_worker -l info 

# 后台 重启  multi restart
# 后台 异步停止  multi stop 
# 后台同步停止  multi stopwait

后台启动的worker， 没有执行任务