多数据源定时采集任务问题,分布式定时任务管理问题。
1. 背景
在开发过程中,可能会涉及到多数据源采集任务任务。例如:定时从多台 FTP 服务器上扫描下载文件 ,或定时从多个库/表中扫描数据,进行业务处理。
通常情况下,我们会结合quartz、xxl-job等定时任务去执行。如果只编写定时任务,获得定时执行的效果,直接引入定时任务框架,并编写定时任务即可。对于失败场景如何处理呢?或者说,如果对这些定时任务做统一管理呢?
2. 实现思路
定时任务表
将所有要执行的定时任务提前写到数据表里,编写定时任务对数据表进行扫描,查询未执行和执行失败的任务进行执行。
由于
原创
2020-09-08 12:01:33 ·
980 阅读 ·
0 评论