python项目 ---- 基于Celery、Redis和Flower的异步邮件报警

基于Celery、Redis和Flower的异步邮件报警

一、项目背景

异步任务队列的主要应用场景在:

• 无须实现响应，性能占用较大，任务处理时间较长的任务，如占用网络性能的发送邮件，占用IO性能的视频处理。
• 按时发布的定时任务，如定期对服务器的检查，对当天网站的监测分析。

二、Celery组件简介

Celery(芹菜)是一个Python编写的异步任务队列/基于分布式消息传递的作业队列。用于处理数以百万计的任务。

• 三大组件: 消息中间件（Broker），任务执行单元（Worker）和任务执行结果存储（Backend）。
• Celery支持RabbitMQ、Redis、ZoopKeeper等作为Broker，而对这些消息队列的抽象，都是通过Kombu实现的。
  
  Flower是基于web的监控和管理Celery的实时监控工具。
  Redis(Remote Dictionary Server)远程字典数据服务的缩写，由意大利人开发的是一款内存高速缓存数
  据库。

三、异步任务队列代码

安装项目所需的软件
pip install celery
pip install flower

C:\Users\lenovo>cd F:\python\Anaconda3\Scripts
F:\python\Anaconda3\Scripts>pip install -i https://pypi.douban.com/simple celery
F:\python\Anaconda3\Scripts>pip install -i https://pypi.douban.com/simple flower

1.首先启动redis

#linux
redis-sever /etc/redis.conf
#windows，在redis的安装目录下输入启动命令
redis-sever redis.windows.conf

linux查看redis是否启动的两种方式：

ps -A | grep redis
redis-cli

2.使用Redis作为消息代理执行任务代码

### config.py

from datetime import timedelta
from celery.schedules import crontab

# 使用Redis作为消息代理,1:为redis数据库的编号
BROKER_URL='redis://127.0.0.1:6379/1' #redis服务：//本地IP(或者别人电脑IP)：默认redis端口号/名字
# 使用Redis作为任务执行结果存储数据库,也可以是MySQL数据库，2:为redis数据库的编号
CELERY_RESULT_BACKEND='redis://127.0.0.1:6379/2'
# 任务序列化和反序列化格式为msgpack(类似json格式)
CELERY_TASK_SERIALIZER = 'msgpack'
# 任务结果序列化存储格式为JSON(可读性更好)
CELERY_RESULT_SERIALIZER = 'json'
#任务过期时间
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24
CELERY_ACCEPT_CONTENT = ['json', 'msgpack']
# 设置时区 CELERY_TIMEZONE = 'Asia/Shanghai'

###方法二批量异步任务时加上下面代码

# 配置定时任务
CELERYBEAT_SCHEDULE = {
   
    'send-every-3-seconds': {
   
        # 执行的任务名称
        'task': 'tasks.send_email',
        # 定时任务设置(每隔5秒)
        'schedule': timedelta(seconds=5),
        # crontab定时任务(同Linux定时任务crontab配置)
        # 'schedule': crontab(hour=16, minute=30),
    },
    'add-every-10-seconds':{