解决多进程中APScheduler重复运行的问题

问题

在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。

在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:

每个任务在时间到的时刻会同时执行好几遍。

注意了一下重复的数量,恰恰是gunicorn里配置的worker进程数量,显然是每个worker进程都启动了一份scheduler造成。

解决

可以想到的方案有几个:

  • --preload启动gunicorn,确保scheduler只在loader的时候创建一次
  • 另外创建一个单独的定时任务项目,单独以一个进程运行
  • 用全局锁确保scheduler只运行一次

经过实践,只有第三个方案比较好。

preload的问题:

虽然这样可以使用scheduler创建代码只执行一次,但是问题也在于它只执行一次,重新部署以后如果用kill -HUP重启gunicorn,它并不会重启,甚至整个项目都不会更新。这是preload的副作用,除非重写部署脚本,完全重启应用。

单独进程的问题:

也是因为部署麻烦,需要多一套部署方案,虽然用Docker会比较方便,但仍然不喜欢,而且同时维护两个项目也多出很多不必要的事情。

全局锁是一个较好的方案,但问题在于找一个合适的锁。

python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。

在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案,但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发:

可以用文件锁!

于是有了这个解决方案:

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
    f = open("scheduler.lock", "wb")
    try:
        fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
        scheduler = APScheduler()
        scheduler.init_app(app)
        scheduler.start()
    except:
        pass
    def unlock():
        fcntl.flock(f, fcntl.LOCK_UN)
        f.close()
    atexit.register(unlock)

原理

init函数为flask项目初始化所调用,这里为scheduler模块的初始化部分。

首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。

如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。

最后注册一个退出事件,如果这个flask项目退出,则解锁并关闭scheduler.lock文件的锁。

  • 9
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
Flask-APScheduler 是一个在 Flask 集成 APScheduler 的扩展,可以让开发者方便地在 Flask 应用使用定时任务。当使用多进程部署时,需要注意 APScheduler 的任务调度器只在当前进程运行,其他进程不会运行任务调度器。这意味着,如果在某个进程添加了定时任务,其他进程不会自动运行这个任务。 如果需要在多进程部署的 Flask 应用使用定时任务,可以考虑使用外部的任务调度服务,比如 Celery 或者 Redis Queue。这些任务调度服务可以独立于 Flask 应用运行,同时支持多进程部署,可以在多个进程共享任务调度状态。在 Flask 应用,只需要将任务添加到任务队列即可,任务调度服务会自动运行任务。 另外,如果只是需要在单个进程运行定时任务,也可以使用 Flask-APScheduler 提供的 `BackgroundScheduler`,它在当前进程运行任务调度器,并且支持多线程运行任务。例如: ``` from flask_apscheduler import APScheduler scheduler = APScheduler() # 在 Flask app 添加 Scheduler scheduler.init_app(app) # 添加定时任务 @scheduler.task('interval', id='do_job', seconds=60) def do_job(): print('定时任务执行') # 启动定时任务调度器 scheduler.start() ``` 在这种情况下,定时任务调度器只在当前进程运行,不会在其他进程运行。如果要在多进程部署使用定时任务,可以考虑使用外部的任务调度服务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值