celery定时任务踩坑

  1. 新添加定时任务之后,需要重启一下celery的beat, 新增的任务才能生效。目前celery没有提供flask可以动态添加定时任务的接口
  2. celery 添加定时任务有2中途径,一种是在项目的配置文件中,一种是在模块的task.py文件中。这两种方式都需要显示的添加定时任务。如果想用信号触发自动添加定时任务,定时任务添加不成功
    task.py
def get_tasks():
    task_infos = []
    tasks = db.session.query(PeriodTask).all()
    for item in tasks:
        interval = item.interval.split()
        scheduler = crontab(minute=interval[0], hour=interval[1], day_of_month=interval[2], month_of_year=interval[3],
                            day_of_week=interval[4])
        task_infos.append((scheduler, item.id))
    return task_infos


tasks_info = get_tasks()

for key, value in tasks_info:
    celery_app.add_periodic_task(key, generate_task.s(value))   # 显示的添加定时任务

3.存放定时任务的文件名字可以任意,不一定必须是tasks.py, celery添加定时任务与文件的名字无关,与CELERY_IMPORTS这个参数有关

CELERY_IMPORTS = ('xxx.sql_lab', 'xxx.tasks.task')

4.在celery的broker用redis时,会发生同一时刻有2个worker同时执行一个任务的情况,开始时以为是重复添加任务造成的,后来把所有的任务清除了,还是这样,后来发现大家在使用redis作为broker的时候,都会出现这个问题。解决问题的链接celery同一时刻重复执行任务。如果不想用celery_once的话,可以把borker换成rabbitmq,rabbitmq没有这个问题

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Python Celery是一个分布式任务队列框架,它可以让你在分布式系统中异步执行任务。它支持定时任务的调度,可以让你在指定的时间间隔或者特定的时间点执行任务。 要使用Celery进行定时任务调度,你需要先安装Celery库。可以使用pip命令进行安装: ``` pip install celery ``` 安装完成后,你需要创建一个Celery实例,并配置它的任务队列和调度器。下面是一个简单的示例: ```python from celery import Celery from datetime import timedelta # 创建Celery实例 app = Celery('tasks', broker='redis://localhost:6379/0') # 配置定时任务调度器 app.conf.beat_schedule = { 'task-name': { 'task': 'tasks.task_name', # 任务函数的路径 'schedule': timedelta(seconds=10), # 任务执行的时间间隔 }, } # 定义任务函数 @app.task def task_name(): # 任务的具体逻辑 pass ``` 在上面的示例中,我们创建了一个名为`tasks`的Celery实例,并配置了Redis作为任务队列的中间件。然后,我们使用`app.conf.beat_schedule`配置了一个定时任务调度器,其中`task-name`是任务的名称,`task`是任务函数的路径,`schedule`是任务执行的时间间隔,这里设置为每10秒执行一次。最后,我们定义了一个名为`task_name`的任务函数,你可以在这个函数中编写具体的任务逻辑。 为了启动Celery定时任务调度器,你需要在终端中执行以下命令: ``` celery -A tasks beat ``` 这样,Celery就会按照你配置的时间间隔或者时间点执行定时任务。 希望以上内容能够帮助到你,如果有任何疑问,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值