Quartz定时任务偶现没有按时触发问题排查

问题描述：

线上有多个定时任务，每3分钟会执行一次。偶现 在该触发时间未触发情况，且出现重复执行的情况。

问题排查过程：

（1）过程一：

猜测Job实现类 TimerTaskRunService方法execute()内调用的runTask耗时太长，导致定时任务没有及时执行，将execute方法内调用的方法改为异步调用；

上线后，问题依然存在。

（2）过程二：

1、查看kibana日志，查看定时是否按时执行。根据打印日志，发现execute按照定时时间正常被触发调用。

2、查看定时调度器异常日志，发现了异常日志"[errorCode=SYSTEM_ERROR, errorMsg=DATABASE_INSERT_FAILED]"，这个是测试任务日志记录插入异常，这是后来新增的字段exe_message没有默认值导致的。但是这个问题，在之前被暴露过，并已被修复。随后仔细查看了日志，发现引起错误的代码行在TestRunnerService.getTaskRunDTO(TestRunnerService.java:590)。随即查看代码，发现引起错误的代码行590是空白行，并没有插入数据库的add语句。

那就只有一个可能，代码不是最新的导致的。但是，应用是刚部署过的，新增功能都在，为什么单单定时这块的代码不是最新的。这个时候就想到了去线上数据库表qrtz_scheduler_state看一下scheduler的实例。发现除了预发和线上机器，还有多出的一台不知哪里来的机器。后经与运维沟通，这是之前发布方式由k8s更改为虚拟机发布产生的机器，这台机器在当时被下线了，但是实例还在。而后续部署因为走的是虚拟机发布，所以这个实例的代码一直未被更新过。至此，问题原因查到了。

解决方法：找运维把这个实例删掉。随后问题解决。

总结：以后遇到类似问题，首先要查看是不是代码原因导致的，