解决多进程中APScheduler重复运行的问题

原创 2017年04月04日 22:34:30

问题

在一个python web应用中需要定时执行一些任务,所以用了APScheduler这个库。又因为是用flask这个web框架,所以用了flask-apscheduler这个插件(本质上与直接用APScheduler一样,这里不作区分)。

在开发中直接测试运行是没有问题的,但是用gunicorn部署以后发生了重复运行的问题:

每个任务在时间到的时刻会同时执行好几遍。

注意了一下重复的数量,恰恰是gunicorn里配置的worker进程数量,显然是每个worker进程都启动了一份scheduler造成。

解决

可以想到的方案有几个:

  • --preload启动gunicorn,确保scheduler只在loader的时候创建一次
  • 另外创建一个单独的定时任务项目,单独以一个进程运行
  • 用全局锁确保scheduler只运行一次

经过实践,只有第三个方案比较好。

preload的问题:

虽然这样可以使用scheduler创建代码只执行一次,但是问题也在于它只执行一次,重新部署以后如果用kill -HUP重启gunicorn,它并不会重启,甚至整个项目都不会更新。这是preload的副作用,除非重写部署脚本,完全重启应用。

单独进程的问题:

也是因为部署麻烦,需要多一套部署方案,虽然用Docker会比较方便,但仍然不喜欢,而且同时维护两个项目也多出很多不必要的事情。

全局锁是一个较好的方案,但问题在于找一个合适的锁。

python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。

在Stackoverflow上看到有人是用了一个socket端口来做锁实现这个方案,但是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发:

可以用文件锁!

于是有了这个解决方案:

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
    f = open("scheduler.lock", "wb")
    try:
        fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
        scheduler = APScheduler()
        scheduler.init_app(app)
        scheduler.start()
    except:
        pass
    def unlock():
        fcntl.flock(f, fcntl.LOCK_UN)
        f.close()
    atexit.register(unlock)

原理

init函数为flask项目初始化所调用,这里为scheduler模块的初始化部分。

首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。

如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。

最后注册一个退出事件,如果这个flask项目退出,则解锁并关闭scheduler.lock文件的锁。

Python下Flask-ApScheduler快速指南

引言:Flask是Python社区非常流行的一个Web开发框架,本文将尝试将介绍APScheduler应用于Flask之中。...
  • blueheart20
  • blueheart20
  • 2017年04月18日 09:59
  • 4147

Flask结合APScheduler实现定时任务框架

APScheduler是一款功能非常强大的定时任务框架。利用APScheduler框架我们可以很方便实现一个基于Python的定时任务系统。Flask提供了对应的Flask-APScheduler来集...
  • kikaylee
  • kikaylee
  • 2017年06月11日 20:22
  • 3304

python+flask+postgresql 学习

1、安装PostgreSQL 去官网下载安装:http://www.postgresql.org/download/ 2、安装psycopg2 是一个PostgreSQL数据库连接库 ...
  • zhangchilei
  • zhangchilei
  • 2015年08月19日 16:25
  • 2236

APScheduler基本使用

APScheduler库基础学习APScheduler组成组件 Triggers触发器,有自己的任务调度逻辑,每一个job单位都有触发器决定下一次何时运行。除了初始化的配置,他没有状态。 Job st...
  • mx472756841
  • mx472756841
  • 2016年06月24日 11:58
  • 4767

python第三方库系列之十三--定时任务apscheduler库

APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。基...
  • wenph2008
  • wenph2008
  • 2015年01月29日 11:35
  • 2620

APScheduler代码流程简要分析

一,APScheduler简要介绍         APScheduler是一个简单的单节点定时任务框架。其支持定时任务,周期任务,以及支持类似cron的时间格式的任务。         它包括以下4...
  • linshenyuan1213
  • linshenyuan1213
  • 2016年11月28日 16:45
  • 1554

使用APScheduler3.0.1 实现定时任务

需求是在某一指定的时刻执行操作 网上的建议多为通过调用Scheduler的add_date_job实现 不过APScheduler 3.0.1与之前差异较大, 无法通过上述方法实现 参考 htt...
  • lrz4119
  • lrz4119
  • 2015年01月15日 16:24
  • 3716

APScheduler Multi CronTrigger 实现

APScheduler Multi CronTrigger 实现最近在使用APScheduler做作业调度的时候碰到一个问题,就是有时候我的作业用一个cron trigger不能完全包含所有的触发条件...
  • kongxx
  • kongxx
  • 2016年01月13日 09:41
  • 2323

Python定时任务框架APScheduler

APScheduler是基于Quartz的一个Python定时任务框架,实现了Quartz的所有功能,使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。基...
  • chosen0ne
  • chosen0ne
  • 2012年08月08日 14:10
  • 56371

Python中APScheduler模块的使用

APScheduler介绍 Advanced Python Scheduler (APScheduler) is a Python library that lets you schedule you...
  • fengqingting2
  • fengqingting2
  • 2016年01月26日 16:41
  • 6433
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:解决多进程中APScheduler重复运行的问题
举报原因:
原因补充:

(最多只允许输入30个字)