解决多进程中Apscheduler重复运行问题。
在uwsgi的配置中,为了增强程序的鲁棒性,配置workers = 5.
所以部署之后,每个worker进程都启动了一份scheduler。
所以用到全局锁。
python自带的多进程多线程锁方案都需要一个共享变量来维护,但是因为worker进程是被gunicorn的主进程启动的,并不方便自己维护,所以需要一个系统级的锁。
所以考虑用 文件锁。
原理:
首先打开(或创建)一个scheduler.lock文件,并加上非阻塞互斥锁。成功后创建scheduler并启动。
如果加文件锁失败,说明scheduler已经创建,就略过创建scheduler的部分。
最后注册一个退出事件,如果这个项目退出,则解锁并关闭scheduler.lock文件的锁。
在django的scheduler设置界面,定义一个函数initscheduler如下
def initscheduler(scheduler):
f = open("scheduler.lock", "wb")
try:
fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
register_events(scheduler)
scheduler.start()
except:
pass
def unlock():
fcntl.flock(f, fcntl.LOCK_UN)
f.close()
atexit.register(unlock)
scheduler = BackgroundScheduler()
# 调度器使用DjangoJobStore()
scheduler.add_jobstore(DjangoJobStore(), "default")
之后设置定时任务,并定义自己的任务
@register_job(scheduler, 'cron', day_of_week='mon-sun', hour='0', minute='00', second='10')
def my_job():
....#定义自己任务
pass
initscheduler(scheduler); #调用刚才那个文件锁函数,实例化调度器