flask celery python 每月定时任务

北戴河桃厂电影修士会

于 2024-08-14 04:03:07 发布

阅读量33

点赞数

文章标签： python flask 后端开发语言

在现代Web开发中，任务调度和异步任务处理是必不可少的功能，特别是在需要执行定时任务的场景中。Flask作为一个轻量级的Web框架，结合Celery和任务调度工具，可以实现功能强大的定时任务管理。本文将详细介绍如何在Flask中使用Celery实现每月定时任务，并进行大量功能扩展。

一、Flask与Celery简介

Flask：一个轻量级的Python Web框架，适合小型应用或微服务开发。
Celery：一个分布式任务队列，支持任务的异步执行、定时调度和并行处理。
任务调度：通过任务调度可以在指定时间执行某些任务，例如每月执行数据备份、生成报告等。

二、项目环境搭建

1. 创建虚拟环境并安装依赖

首先，创建一个虚拟环境，并安装Flask、Celery和任务调度相关的包。

我们选择Redis作为Celery的消息代理，你也可以选择RabbitMQ等其他代理。

2. 初始化Flask应用

创建一个基本的Flask应用，并初始化Celery。

from flask import Flask
from celery import Celery

def make_celery(app):
    celery = Celery(
        app.import_name,
        backend=app.config['CELERY_RESULT_BACKEND'],
        broker=app.config['CELERY_BROKER_URL']
    )
    celery.conf.update(app.config)
    class ContextTask(celery.Task):
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return self.run(*args, **kwargs)
    celery.Task = ContextTask
    return celery

app = Flask(__name__)
app.config.update(
    CELERY_BROKER_URL='redis://localhost:6379/0',
    CELERY_RESULT_BACKEND='redis://localhost:6379/0'
)

celery = make_celery(app)

3. 创建定时任务

Celery可以使用celery.beat实现定时任务调度。在Flask应用中，可以定义一个每月执行一次的任务。

from datetime import timedelta
from celery.schedules import crontab

@celery.task
def monthly_task():
    # 这里是任务执行的代码
    print("Running monthly task")

# 添加到celery的定时任务调度器中
celery.conf.beat_schedule = {
    'run-every-month': {
        'task': 'app.monthly_task',
        'schedule': crontab(day_of_month=1, hour=0, minute=0),
    },
}

上面的代码配置了一个每月1号的午夜运行的任务。crontab支持灵活的时间配置，你可以根据需要进行调整。

三、运行项目

1. 启动Redis

确保Redis服务器正在运行，使用以下命令启动Redis：

2. 启动Celery Worker和Beat

Celery有两个关键的组件：Worker负责执行任务，Beat负责调度任务。

这将启动Celery的Worker和Beat组件，后者将每月触发一次定义的任务。

四、功能扩展

1. 多种调度任务

不仅限于每月任务，你可以定义各种频率的任务，比如每周、每天、甚至每小时。

celery.conf.beat_schedule.update({
    'run-every-week': {
        'task': 'app.weekly_task',
        'schedule': crontab(day_of_week=0, hour=0, minute=0),
    },
    'run-every-day': {
        'task': 'app.daily_task',
        'schedule': crontab(hour=0, minute=0),
    },
})

2. 动态任务调度

有时我们需要根据特定的业务逻辑动态地调度任务。可以通过Flask的路由来动态添加定时任务。

from flask import request

@app.route('/schedule_task', methods=['POST'])
def schedule_task():
    task_name = request.json['task_name']
    run_date = request.json['run_date']  # 格式：'YYYY-MM-DD HH:MM:SS'
    celery.add_periodic_task(
        run_date,
        globals()[task_name].s(),
        name=task_name
    )
    return f'Task {task_name} scheduled for {run_date}'

3. 任务失败处理和重试

在生产环境中，任务失败是不可避免的。Celery允许你配置任务的重试逻辑。

@celery.task(bind=True, max_retries=3)
def monthly_task(self):
    try:
        # 任务代码
        pass
    except Exception as exc:
        raise self.retry(exc=exc, countdown=60)

4. 任务链与工作流

对于复杂的任务，可以将多个任务链起来，形成一个任务链（chain）或群组（group）。

from celery import chain, group

@celery.task
def task_a():
    return "Result from A"

@celery.task
def task_b(result_from_a):
    return f"Result from B, received: {result_from_a}"

@celery.task
def task_c(result_from_b):
    return f"Final result: {result_from_b}"

# 任务链
result = chain(task_a.s() | task_b.s() | task_c.s()).apply_async()