利用redis分布式锁的功能来实现定时器的分布式

 

        以前为部门内部开发过一个定时器程序,这个定时器很简单,就是配置quartz,来实现定时调用配置的url功能。最近为了防止定时器所在的服务器由于特殊原因挂掉,需要对定时器做多机部署。那么如果按照原来的方式进行部署,就会遇到 在一定的间隔时间内,可能出现多次重复调用的问题。为了解决这个问题,我就借助了redis的分布式锁功能。

        redis分布式锁参考 : http://www.jeffkit.info/2011/07/1000/

        具体原理如下:

        定时器到时间被触发,程序开始先争取一个redis锁。

        如果获得锁,就设置锁的超时时间为到下次定时器触发的时间。

        然后执行定时器任务。后来的定时器也来尝试获得redis锁,当然,这个锁已不能获取了,而且超时时间在未来,所以就放弃这次任务调用。

        定时器到时间再次被触发,然后尝试获得锁,由于锁的超时时间为定时任务的时间间隔,当前时间正好大于或等于超时时间,所以,程序可以顺利的获得锁,并重置超时时间。

        。。。。。。。不断的循环调用,判断

 

        在此之间测试循环间隔时间最小单位为1s最好,如果小于1s的调用,由于使用redis会有10几毫秒的运算耗费,因此不能保证在1s以下的时间间隔比较均匀.

        为了能保证定时触发时,能获得redis锁,可以设置锁的超时时间为间隔时间-10ms。这样就判断超时时间 now > timeoutTime = true。

       补充:

       只要多个服务器时间差别不大,基本不会有重复的问题。唯一担心的就是redis,这个挂了,就全挂了。      

       因此,如果要考虑更全面,需要对redis点单再做集群。就看是否有必要了。

 

       目前定时器的任务都是通过配置文件写好,以后我还要考虑动态更新任务。

 

       目前代码还在整理中,想做一个开源的项目。

<iframe src="/iframe_ggbd/794" frameborder="0" scrolling="no" width="468" height="60"></iframe>

3
2
分享到:
评论
6 楼 skzr.org 12 分钟前  
ak478288 写道
youjianbo_han_87 写道
为了实现A,引入B,结果又要维护B。为了保证B,可能又要引入C,又要维护C。。。。系统就是这么膨胀的。能否从业务角度优化下呢?


其实是可以从业务角度来考虑的。谁都不想维护那么多依赖。但是为了简化业务系统,就需要这么一个独立的定时器系统来解决所有业务系统都需要的功能。

这么做维护是不可避免的。例如你要用数据库,不够用了,就要加入缓存,以后还要考虑数据库和缓存的集群。都是一样的道理。

重点看是要解决问题的方式和引入的问题,哪个更重要。方案没有完美的,只有均衡选择。


呵呵,这个需要考虑下时间,解耦合是好的,不过如果有跟简单的办法实现,就不用复杂的。
5 楼 ak478288 4 小时前  
youjianbo_han_87 写道
为了实现A,引入B,结果又要维护B。为了保证B,可能又要引入C,又要维护C。。。。系统就是这么膨胀的。能否从业务角度优化下呢?


其实是可以从业务角度来考虑的。谁都不想维护那么多依赖。但是为了简化业务系统,就需要这么一个独立的定时器系统来解决所有业务系统都需要的功能。

这么做维护是不可避免的。例如你要用数据库,不够用了,就要加入缓存,以后还要考虑数据库和缓存的集群。都是一样的道理。

重点看是要解决问题的方式和引入的问题,哪个更重要。方案没有完美的,只有均衡选择。
4 楼 youjianbo_han_87 6 小时前  
为了实现A,引入B,结果又要维护B。为了保证B,可能又要引入C,又要维护C。。。。系统就是这么膨胀的。能否从业务角度优化下呢?
3 楼 skzr.org 6 小时前  
ak478288 写道
rox 写道
这个方案不错,灵活方便。
系统资源牺牲比较小。
原来,考虑定时器,都是时间同步,配置麻烦,而且,收效甚微。


嗯,只要多个服务器时间差别不大,基本不会有重复的问题。唯一担心的就是redis,这个挂了,就全挂了。因此,如果要考虑更全面,需要对redis点单再做集群。就看是否有必要了。

目前定时器的任务都是通过配置文件写好,以后我还要考虑动态更新任务。

目前代码还在整理中,想做一个开源的项目。


我之前做过的使用db做状态,多机后台执行调度,每行表示一个task。
1. 定时器每隔1s扫描一次表,安排本地下次执行时间和任务。
2. 任务开始执行前尝试锁定,检查状态,然后更新状态为下次执行时间(同时做记录的ver),任务开始执行。
3. 锁定失败就放弃执行
2 楼 ak478288 6 小时前  
rox 写道
这个方案不错,灵活方便。
系统资源牺牲比较小。
原来,考虑定时器,都是时间同步,配置麻烦,而且,收效甚微。


嗯,只要多个服务器时间差别不大,基本不会有重复的问题。唯一担心的就是redis,这个挂了,就全挂了。因此,如果要考虑更全面,需要对redis点单再做集群。就看是否有必要了。

目前定时器的任务都是通过配置文件写好,以后我还要考虑动态更新任务。

目前代码还在整理中,想做一个开源的项目。
1 楼 rox 6 小时前  
这个方案不错,灵活方便。
系统资源牺牲比较小。
原来,考虑定时器,都是时间同步,配置麻烦,而且,收效甚微。
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值