Flask+celery基础

celery是一种基于队列的任务处理系统,当有一个工作时,可以将工作放到消息队列中(可以用redis),然后工人会将任务从队列中取出,待处理完成后,再将任务结果放到结果储存容器中(可以为mongo).

---

示例代码(test.py):

from flask import Flask
from celery import Celery
from celery.result import AsyncResult
import time

app = Flask(__name__)
# 用以储存消息队列
app.config['CELERY_BROKER_URL'] = 'redis://127.0.0.1:6379/0'
# 用以储存处理结果
app.config['CELERY_RESULT_BACKEND'] = 'redis://127.0.0.1:6379/0'

celery_ = Celery(app.name, broker=app.config['CELERY_BROKER_URL'])
celery_.conf.update(app.config)

@celery_.task
def my_background_task(arg1, arg2):
     # 两数相加
     time.sleep(10)
     return arg1+arg2

@app.route("/sum/<arg1>/<arg2>")
def sum_(arg1,arg2):
    # 发送任务到celery,并返回任务ID,后续可以根据此任务ID获取任务结果
    result = my_background_task.delay(int(arg1),int(arg2))
    return result.id

@app.route("/get_result/<result_id>")
def get_result(result_id):
    # 根据任务ID获取任务结果
    result = AsyncResult(id=result_id)
    return str(result.get())

启动时需要将flask应用和celery应用分别启动:

gunicorn test:app -b 0.0.0.0:7656
celery -A test.celery_ worker

之后可以通过链接发送任务,并获得任务ID:

http://127.0.0.1:7656/sum/1/2

然后等待10s后通过下面这个链接可以获得任务结果:

http://127.0.0.1:7656/get_result/XXXX(任务ID)

另外可以通过flower模块来监控celery的任务,使用pip安装后,使用如下命令启动

flower --basic_auth=admin:admin --broker=redis://127.0.0.1:6379/0 --address=0.0.0.0 --port=5556

通过如下url可以监控celery任务处理状态(账号密码为admin)

http://127.0.0.1:5556