借助Redis的过期机制和分布式锁实现定时任务

在集群环境中,定时任务可能因多台服务器同时启动导致重复执行,引发数据异常。本文提出了四种解决方案:1) 选定一台机器执行;2) 使用数据库表锁;3) 利用Redis的过期机制和分布式锁;4) 使用Quartz集群。推荐使用Redis分布式锁,简单且改动小,确保任务唯一执行。如果任务执行失败,可提供手动重试接口。
摘要由CSDN通过智能技术生成

在开发的过程中,项目中使用定时器已经不是一个新鲜的事情了,但是如果你的项目后期部署到集群环境下,如果不做处理,就会出现意想不到的问题,原因:由于我们项目同时部署在多台集群机器上,因此到达指定的定时时间时,多台机器上的定时器可能会同时启动,造成重复数据或者程序异常等问题,下面我提供几种解决方案

一、固定执行定时任务的机器

方法:在多台机器中选择一台执行定时任务,每次执行的时候回判断当前机器和指定的机器是否一致或者启动时就指定好执行机器

优缺点:这种方法是可以有效避免多次执行的情况,,但是最明显的缺点就是单点故障问题,如果你指定的机器出现了宕机,,任务就不会执行了,业务逻辑就会奔溃。

二、在数据库建立多张表,从定时任务表中获取定时方法

方法:由于MySQL存在表锁和行锁(MyISAM引擎只支持表锁,而InnoDB支持行锁和表锁两种),每次执行定时任务的时候从数据库表中读取记录,只有读取到的记录标识当前任务状态为未执行时,当前机器才会去触发任务,并且更新数据库状态(先更新,再执行),由于存在表锁和行锁,因此同一时刻只能有一个事务操作,可以保证只执行一次

优缺点:这种方法是一种比较合适的方式,但是需要有多张表,并且已经做了定时器逻辑上会有较大的改动

三、借助Redis的过期机制和分布式锁

方法:为你的定时器在Redis中定义一个键值对,可以用项目名称和服务器ip,执行任务前先从Redis中读取键,若没有值代表任务未被执行,同样的该台机器先更新redis,再触发定时任务。由于Redis存在过期机制,因此可以设置过期时间保证下次判断正常

优缺点:该方法个人比较推荐,简单,对业务逻辑的改变也会少很多,只需要在原来的定时器上加上简单判断即可

四、Quartz的集群应用方式

方法:如果你的项目使用的是Spring自带有Task定时任务机制,quartz框架本身就是支持集群环境,可以搭建集群环境下的定时器,也能解决上述问题 不过需要配置11张数据库表

优缺点:该解决方案最大的问题是需要配置11张左右的数据库表,工作量非常大

以下是 ( 借助Redis的过期机制和分布式锁 ) 的实现方案
1、需要添加依赖
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
2、具体代码
    @Autowired
    private RedisTemplate redisTemplate;

    @Scheduled(cron = "0 */1 * * * ?")
    public void  generateData() {

        /** 定时任务的名称作为key **/
        String key = "generateData";
        /** 设置随机key **/
        String value = UUID.randomUUID().toString().replace("-", "");

        //如果键不存在则新增,存在则不改变已经有的值。(备注:失效时间要大于多台服务器之间的时间差,如果多台服务器时间差大于超时时间,定时任务可能会执行多次)
        Boolean flag = redisTemplate.opsForValue().setIfAbsent(key, value, 20, TimeUnit.SECONDS);
        if (flag != null && flag) {
            log.info("{} 锁定成功,开始处理业务", key);
            try {
                /** 模拟处理业务逻辑,15秒 **/
                Thread.sleep(1000 * 15);

            } catch (InterruptedException e) {
                e.printStackTrace();
            }

            /*
             * 业务逻辑处理完毕,释放锁,正常情况下,由于上边 setIfAbsent 已经设置过期时间了,
             * 所以在规定时间内,Redis 会自动删除过期的 key,但是这个删除由于不确实是什么删除策略,
             * 所以最后执行完再删除一遍比较保险。
             */
            String lockValue = (String) redisTemplate.opsForValue().get(key);
            /** 只有:值未被释放(也就是当前未达到过期时间),且是自己加锁设置的值(不要释放别人的所),这种情况下才会释放锁 **/
            if (lockValue != null && lockValue.equals(value)) {
                redisTemplate.delete(key);
                log.info("{} 解锁成功,结束处理业务", key);
            }
        } else {
            log.info("{} 获取锁失败", key);
        }
    }
3、如果定时任务在拿到锁后执行失败怎么办?

解决方法:添加一个手动提交的接口,在前端页面可以手动提交

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值