定时任务(批处理任务)设计不合理的反面教材:
曾经使用Spring Batch批处理框架的Tasklet进行批处理任务,使用Redis锁进行并发控制,在任务开始前使用Redis的setnx命令往Redis中插入值,任务结束后删除值,任务只有在当前Redis中不存在值时才运行启动。
设计不合理之处:
存在单点故障问题,一台机器A开始处理任务时,其他机器不处理任务,当服务器A在批处理任务执行到一半时宕机,Redis中的值需要等待自动过期才可删除,因此在Redis值自动过期前,此批处理任务不会再次启动。
服务器集群中,定时任务(批处理任务)设计需要解决的问题:
1、如果集群中每台机器都启动定时任务,容易造成数据重复处理的问题。2、如果采用定时任务开关的方式,只一台机器的开关on,其他机器的开关off,可以避免数据重复处理的问题,但是存在单点故障的问题。
解决方式有:
1、任务从数据库中读,保证只有一台机器可以抢到任务。
2、将任务的定时触发模块、任务的执行模块分离。任务的定时触发模块每台机器都允许触发任务,但是任务的执行模块,只要收到一个执行任务,那么下一个执行任务就被忽略掉。任务开始执行设置running = true,任务执行完毕设置running = false,当running为ture时候,下一个任务不允许执行。需要注意的是,一定要在finally中加上running = false,要不然任务异常的话,下一次任务永远不会再执行了。