定时进行数据更新时,update更新时间如何设置

实际项目开发中,总是会遇到数据需要定时更新的问题,需要写一个定时任务,比如每7天更新一次,更新周期是7天,要保证更新期间时产生的数据不要被忽略,那么定时任务中的update更新时间如何设置呢?

案例:我需要每隔一定时间,对数据库中某个表的数据同步到另一个数据表,表里面有update字段,一开始先进行全量的数据更新,之后呢,需要对后来添加的数据进行增量同步。

解决方法:

1、在每次更新时,把当前更新的时间存储到数据库中,等到下次更新时,再从数据库中获取更新字段,获取数据库中上次的更新时间到当前时间增加的数据表记录,然后进行更新,更新结束后又把更新时间,(这个更新时间,是更新前的时间)存储到数据库。

2、设置update时间=当前时间-更新周期,例如更新周期7天,假设今天是7号,那么选择1号作为更新时间,去数据库取出大于1号的数据表记录,然后进行更新。

第一个方法需要单独存储一个update字段到数据库,每次更新都需要去数据库获取上次更新的时间,这涉及数据库操作,肯定是慢的。

因此第一个方法的缺点:1、需要单独存储update字段到数据库;

而第二个方法就解决这个问题,首先第2个方法不需要单独存储update字段,她的update字段是通过【new Date() - 更新周期】就可以得到,也就是更新时间update小于更新当天的时间一个更新周期,比如更新周期2天,今天是2022-10-16 12.00,那么update=2022-10-14 12.00,开始更新,那么2022-10-14 12.00到2022-10-16 12.00的数据都可以被更新到,如果还是更新需要花费2小时,那么2022-10-16 12.00到2022-10-16 14.00就是这个更新期间产生的数据,下次到了2022-10-18 12.00,那么update=2022-10-16 12.00,2022-10-16 12.00到2022-10-18 12.00的数据都可以被更新到,所以更新期间产生的数据2022-10-16 12.00到2022-10-16 14.00也被包含了

因此update时间=当前时间-更新周期,可以保证更新期间产生的数据都留到下一次更新去更新。

当然我这里没有考虑到同步失败的问题,如果同步失败,第一个方法就不会更新update时间,下次更新时,还从上一次成功更新的update开始,这个无问题.

如果是第2种方法同步失败,可以设置一个字段变量flag初始值为1,同步失败就flag+1,如果持续同步失败,就继续加1,那么update时间=当前时间-更新周期*flag,但是一旦同步成功,就flag=1。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值