分布式定时任务重复执行记录

背景: 一个项目拆分了几个可单独运行的模块。
A模块中的定时器每个30s去执行一次任务,A模块中的定时器每个30s去执行一次任务(任务内容是远程获取消息并处理发送)。原定是A模块部署到两个服务器,同时建立了数据库表作为分布式锁。但是目前A模块独立运行两个之后总是会获取到相同的远程消息,然后重复执行处理了两次。
技术: 原本是在ssm框架下的定时任务是没有出现重复执行的情况,现在迁移到了springboot之后分布式锁好像没起作用。都是用的spring-scheldue.

改变内容:
原本ssm下的定时任务都是通过xml统一配置,线程池管理。迁移后定时器使用了注解@Scheduled(cron="…");配置了ScheldueConfigure类加入了线程池@Bean。表仍然是method_lock。

原本目的: 通过数据库表能让两个模块的定时任务经过30s的间隔去获取远程消息(因为远程消息的内容30s会变动一次),这样两个模块获取的任务都不相同。

但现在的情况个人感觉像是两个模块的定时任务是同时去访问methd_lock表,然后同时满足30s后获得锁,然后在同时去获取远程消息。

查询的分布式锁解决方法:

  1. 改用quartz,支持分布式(pass)
  2. 改用redis, 设置key的失效时间(pass)
  3. 改用zookeeper, 通过节点判断(待定)
  4. 数据库的服务器与程序运行的机器时间可能有差异(有差异纠正到3s误差内,一段时间后仍出现重复执行)
  5. 从数据库的排它锁开始下手

等问题解决后再来记录结果。
经过两天的排查和测试目前模块运行正常:

  1. 增加了事务管理代码和注解
  2. 在原本的查询语句加入了connection.setAutoCommit(false);
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
定时任务是指在预定的时间间隔或特定时间执行的任务。而分布式定时任务是指将这些任务分布到多台机器上执行,以实现更高的可靠性和可伸缩性。 Java中有多种实现定时任务分布式定时任务的方法,其中一种是使用JDK原生提供的定时任务功能。通过使用`java.util.Timer`或`java.util.concurrent.ScheduledExecutorService`类,可以在Java中创建和调度定时任务。 另一种常见的实现方式是使用Spring框架。Spring提供了丰富的定时任务支持,包括基于注解的定时任务和基于XML配置的定时任务。通过使用`@Scheduled`注解,可以将方法标记为定时任务,并指定任务的执行时间间隔或特定时间点。 此外,Spring还提供了整合数据库和Redis的方式来存储和管理定时任务。通过将任务列表存储在关系型数据库或Redis中,可以实现任务的持久化和分布式管理。 对于分布式定时任务,可以使用消息队列(如RabbitMQ)来实现任务的分发和调度。通过将任务发布到消息队列中,不同的任务消费者可以从队列中获取任务并执行。这种方式可以实现任务的水平扩展和负载均衡。 另外,还有一些开源的分布式定时任务框架,如Quartz、Elastic-Job、XXL-Job等,它们提供了更丰富的功能和更灵活的配置选项。 总结起来,定时任务可以通过JDK原生的定时任务、Spring框架、数据库或Redis存储以及消息队列来实现。而分布式定时任务则可以通过使用消息队列和开源框架来实现。具体选择哪种方式取决于项目需求和技术栈的选择。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值