场景描述:有一张表,该表的数据是由其他的系统进行添加和更新,我方的系统只负责查询。推送的逻辑是每间隔一个小时,删除全表的数据再推送全量数据。此时存在一个问题,推送时间或长或短,最长可达20-30分钟,如果在此推送期间有请求接口查询此表的数据会出现查询的结果与真实不符。
初步解决:在每小时的30分定时缓存查询结果,缓存设置超时时间为3600s 即一小时。
问题产生:设置缓存后依然出现查询结果与真实数据不符的情况,
问题分析:定时任务的时间和设置缓存的超时时间存在时间差,导致了在每小时的第30分钟执行的定时任务没有进行缓存的刷新。用户在数据更新时进行查询,结果出现错误。
详情解释:第一次缓存假如定时任务在 11:30:00 执行,在 11:30:05秒时程序将查询结果放入缓存中,并设置超时时间3600秒。第二次执行定时任务在12:30:00 ,程序在12:30:01在redis中拿缓存数据,判断查询结果存在,直接返回查询结果,此时第一次缓存的查询结果还有4秒就会超时删除。4秒后,redis缓存中数据,此时待下一次执行定时任务 还有59:56秒 ,在13:01有接口请求数据,此时数据库中的数据尚未全部插入,导致查询结果数量少于正常数量。
最终解决:定时任务与缓存超时时间不能全为整点执行,由于数据推送时间可能出现30分钟的情况,将定时任务执行时间变更为每小时的55分执行,而缓存时间缩短为55分钟,确保每次定时任务都会刷新缓存的时间,如果此时有请求进行查询,查询结果也为数据库完全更新之后的结果。