最近要写一个拉取其他项目数据的定时任务。
最先写了一个,首先查询主表,获取主数据后,循环去拉取子数据。这种方式在同一个定时任务里,超级慢。
果断改成多个定时任务,第一个定时任务获取主数据存表。第二个定时任务查询本地主表数据,循环去拉取。这种方式比在一个定时任务里快很多。
接下来说说线上出现的问题:
在跟进定时任务时,发现:1,数据没有同步完全;2,服务器日志里报请求太频繁。可能是其他项目的防刷机制,后来我想只是一个请求,又是定时的,没有同时操作。
后来发现是多台服务的问题,定时到某个时间点,多台服务器会在毫秒级内一块请求,就算是一个请求也会报频繁。
解决方案:
在定时任务里加锁机制,等某台服务器获取权限,其他服务器将不再执行此次定时任务
if(redisTemplate.opsForValue().setIfAbsent("getsnInfo","11")){ //key的值放什么不重要,重要的是key.所以11或者aa都行。多个定时任务,是多个key,不能set一样的,各管各的定时任务。懂redis的应该都明白 try{ // 业务代码 }catch(){ redisTemplate.delete("getsnInfo"); }