celery 定时任务 ，异步邮箱

Celery安装配置
1.Celery介绍
1.1 Celery 特性
· 方便查看定时任务的执行情况, 如 是否成功, 当前状态, 执行任务花费的时间等.
· 使用功能齐备的管理后台或命令行添加,更新,删除任务.
· 方便把任务和配置管理相关联.
· 可选 多进程, Eventlet 和 Gevent 三种模型并发执行.
· 提供错误处理机制.
· 提供多种任务原语, 方便实现任务分组,拆分,和调用链.
· 支持多种消息代理和存储后端.
· Celery 是语言无关的.它提供了python 等常见语言的接口支持.

1.2 Celery 扮演生产者和消费者的角色
· Celery Beat : 任务调度器. Beat 进程会读取配置文件的内容, 周期性的将配置中到期需要执行的任务发送给任务队列.
· Celery Worker : 执行任务的消费者, 通常会在多台服务器运行多个消费者, 提高运行效率.
· Broker : 消息代理, 队列本身. 也称为消息中间件. 接受任务生产者发送过来的任务消息, 存进队列再按序分发给任务消费方(通常是消息队列或者数据库).
· Producer : 任务生产者. 调用 Celery API , 函数或者装饰器, 而产生任务并交给任务队列处理的都是任务生产者.
· Result Backend : 任务处理完成之后保存状态信息和结果, 以供查询.

#使用于生产环境的消息代理有 RabbitMQ 和 Redis, 官方推荐 RabbitMQ.

1.3 Celery 常用配置参数汇总
配置项 说明
CELERY_DEFAULT_QUEUE 默认队列
CELERY_BROKER_URL Broker 地址
CELERY_RESULT_BACKEND 结果存储地址
CELERY_TASK_SERIALIZER 任务序列化方式
CELERY_RESULT_SERIALIZER 任务执行结果序列化方式
CELERY_TASK_RESULT_EXPIRES 任务过期时间
CELERY_ACCEPT_CONTENT 指定任务接受的内容类型(序列化)

2. 安装
   2.1 celery安装
   pip install celery
   pip install celery[redis]

2.2 flower 安装
docker pull placr/flower
docker run -d -p 5555:5555 --name flower --link redis:redis placr/flower
访问端口5555就可以看到web 界面

3. Celery 定时任务
   3.1 项目目录结构
   demo/
   celery_app/
   init.py
   celeryconfig.py
   tasks.py

3.2 init.py 内容

from celery import Celery

app = Celery(‘demo’) # 创建 Celery 实例
app.config_from_object(‘celery_app.celeryconfig’) # 添加配置文件

配置选项 配置分版本了 有两种可用配置版本 不能混用

http://docs.celeryproject.org/en/latest/userguide/configuration.html#include

3.3 celeryconfig.py 内容

-- coding: utf-8 --

from celery.schedules import timedelta
from celery.schedules import crontab

Broker and Backend

BROKER_URL = ‘redis://192.168.5.151:6379’ # 指定 Broker 消息代理
#BROKER_URL = ‘redis://127.0.0.1:6379’
CELERY_RESULT_BACKEND = ‘redis://192.168.5.151:6379/0’ # 指定 Backend 结果存储
#CELERY_RESULT_BACKEND = ‘redis://127.0.0.1:6379/0’

注 结果存储 和消息代理可以用不同 消息代理存储 流行 RabbitMQ 做消息代理，保证持久性 redis 做结果存储

CELERYD_PREFETCH_MULTIPLIER = 10 # 并发量 同一个worker 可以同时处理任务上限
CELERY_TASK_RESULT_EXPIRES = 3600 # 结果存储过期
CELERY_TASK_ALWAYS_EAGER = False # 如果是这样True，所有任务将通过阻塞在本地执行，直到任务返回
CELERY_ENABLE_UTC = False

Timezone

CELERY_TIMEZONE=“Asia/Shanghai” # 指定时区，不指定默认为 ‘UTC’

CELERY_TIMEZONE=‘UTC’

import # 指定导入的任务模块

CELERY_IMPORTS = (
‘celery_app.tasks’,
)

schedules

CELERYBEAT_SCHEDULE = {
‘add-every-30-seconds’: {
‘task’: ‘celery_app.tasks.add’,
‘schedule’: crontab(minute="*"), # 每 60 秒执行一次
‘args’: (5, 8) # 任务函数参数
},
}

3.4 Tasks.py 内容

coding:utf-8

import time
from celery_app import app
import os

os.environ.setdefault(‘FORKED_BY_MULTIPROCESSING’, ‘1’)
@app.task
def add(x, y):
time.sleep(2)
return x + y

3.5 启动

启动一个worker

Celery -A celery_app worker -l info

启动一个 beat # 随时检查配置变化

Celery -A celery_app beat –l info

4. Celery 配合flask 异步发送邮件任务
   Flask-demo/
   Main.py
   Celeryconfig.py
   Celerytasks.py
   Celeryapp.py

4.1 Main.py 内容

from flask import Flask, request, render_template, session, flash, redirect,
url_for
from flask_mail import Mail, Message
from celeryapp import make_celery
app = Flask(name)
app.config[‘SECRET_KEY’] = ‘top-secret!’

Flask-Mail configuration

app.co