使用flask框架的定时任务,在运行多个pod时,如何保证只运行一个定时任务?
看到有用redis加锁的, 不过这个只能保证同一时刻只有一个定时任务运行。假如一个interval为120s的定时任务,执行只需要5s,则起几个pod 120s内最多就可能运行几次,虽然重复运行可能也没问题,但这并不是我们想要的。(一个pod内只起一个定时任务相关的开关是max_instances)
最近使用了一个优雅点的解决方案,增加一个deployment专门运行定时任务,只起一个;其内有一个环境变量指示 此pod为定时任务的pod; 其他的pod剥离定时任务,可以起多个。
具体的:
1, 代码中, create_app时,添加定时任务(ini_schedular(app)前,构建JOBS时)时, 先判断环境变量cron_pod_type为1时, 才添加定时任务;否则,不添加。
2, 部署时,假设原来的deploy文件为 test_app.yaml; copy一份至test_app_cron.yaml;
修改这一份test_app_cron.yaml:
1) replicas: 1
2) 增加container env变量:cron_pod_type 值为1
3) 修改deploy名称, template labes app名称, container名称,都增加_cron后缀
其他镜像等均使用与test_app.yaml相同的配置。无需修改service,这个cron pod不对外提供服务。
这样就能愉快的玩耍啦。亲测可行,目前还没有发现其他问题。