使用Redisson实现分布式锁发现的【订阅超时】Subscribe timeout: (7500ms)

背景

使用 redisson 实现分布式锁,出现的异常:

org.redisson.client.RedisTimeoutException: Subscribe timeout: (7500ms). Increase ‘subscriptionsPerConnection’ and/or ‘subscriptionConnectionPoolSize’ parameters

在这里插入图片描述

从异常信息读的出来一些东西

  1. 订阅超时?
  2. 和 [subscriptionsPerConnection]、[subscriptionConnectionPoolSize] 似乎要调整配置,名称是这两个?

这是我使用的 redisson 客户端的版本:

       <dependency>
            <groupId>org.redisson</groupId>
            <artifactId>redisson-spring-boot-starter</artifactId>
            <version>3.15.6</version>
        </dependency>

正文

查阅一些资料后得出结论:

  1. redisson核心参数:subscriptionsPerConnection和subscriptionConnectionPoolSize较小,当线上出现大量锁竞争时,发布订阅连接池不满足拿去需求
  2. 服务使用的redisson3.15.6版本存在代码漏洞,当出现获取订阅连接失败时缺乏重试,且存在订阅连接无法释放的隐患,有内存泄漏风险。

优化建议:

  • 增大subscriptionsPerConnectionsubscriptionConnectionPoolSize配置大小

该配置为redisson客户端连接池配置,对redis本身性能影响较小,且线上redis资源利用率不高,可酌情调整

  • 升级redisson客户端版本至少到3.17.3

截至到该版本优化了分布式锁的订阅逻辑,并解决了因网络故障、redis集群故障等问题导致的取消订阅失败造成的连接池异常占用问题。

问题复现

服务当前Redisson版本为3.15.6,使用如下用例可稳定复现线上报错:

在这里插入图片描述

代码示例:

package com.example.demo;

import lombok.extern.slf4j.Slf4j;
import org.redisson.Redisson;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.Random;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

@Slf4j
@SpringBootTest
public class RedisTest {



        public static void main(String[] args) throws InterruptedException {
            Config config = new Config();
            config.useSingleServer()
                    .setSubscriptionConnectionPoolSize(2)
                    .setSubscriptionConnectionMinimumIdleSize(2)
                    .setSubscriptionsPerConnection(2)
//                    .setTimeout(5000)
                    .setAddress("redis://127.0.0.1:6379");

            RedissonClient redisson  = Redisson.create(config);
            ExecutorService e = Executors.newFixedThreadPool(32);
            Random random = new Random();
            for (int i = 0; i < 20000; i++) {
                e.submit(() -> {
                    try {
                        String lockKey = "lock-" + random.nextInt(5);
                        RLock lock = redisson.getLock(lockKey);
                        log.info("before lock {}", lockKey);
                        lock.lock();
                        log.info("after  lock {}", lockKey);
                        Thread.sleep(random.nextInt(20));
                        lock.unlock();
                        log.info("after  -unlock {}", lockKey);
                    } catch (Exception exception){
                        log.error("e", exception);
                    }
                });
            }

            e.shutdown();
            e.awaitTermination(10, TimeUnit.MINUTES);
        }
    }

正确使用:

redisson 客户端版本更换:

       <dependency>
            <groupId>org.redisson</groupId>
            <artifactId>redisson-spring-boot-starter</artifactId>
            <version>3.17.3</version>
        </dependency>

代码示例:

package com.example.demo;

import lombok.extern.slf4j.Slf4j;
import org.redisson.Redisson;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.springframework.boot.test.context.SpringBootTest;

import java.util.Random;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

@Slf4j
@SpringBootTest
public class RedisTest {



        public static void main(String[] args) throws InterruptedException {
            Config config = new Config();
            config.useSingleServer()
                    .setSubscriptionConnectionPoolSize(2)
                    .setSubscriptionConnectionMinimumIdleSize(2)
                    .setSubscriptionsPerConnection(2)
//                    .setTimeout(5000)
                    .setAddress("redis://127.0.0.1:6379");

            RedissonClient redisson  = Redisson.create(config);
            ExecutorService e = Executors.newFixedThreadPool(32);
            Random random = new Random();
            for (int i = 0; i < 20000; i++) {
                e.submit(() -> {
                    try {
                        String lockKey = "lock-" + random.nextInt(5);
                        RLock lock = redisson.getLock(lockKey);
                        log.info("before lock {}", lockKey);
                        lock.lock();
                        log.info("after  lock {}", lockKey);
                        Thread.sleep(random.nextInt(20));
                        lock.unlock();
                        log.info("after  -unlock {}", lockKey);
                    } catch (Exception exception){
                        log.error("e", exception);
                    }
                });
            }

            e.shutdown();
            e.awaitTermination(10, TimeUnit.MINUTES);
        }
    }

原因分析

在这里插入图片描述

关键点:

  • 成功场景: 直接获取锁事不触发订阅流程,仅启动看门狗线程
  • 失败场景: 订阅特定格式的频道(redisson_lock_channel:{key})并阻塞线程
  • 取消订阅‌: 在锁获取成功、线程中断、等待超时三种情况下触发
  • 线程安全‌: 通过Semaphore和线程ID绑定确保订阅/取消订阅的原子性

之所以使用发布订阅模式处理锁竞争时候,为了避免时间轮询获取状态的方式带来的性能吮毫,提高执行效率

发生报错的场景:

在这里插入图片描述
服务使用Redisson3.15.6版本,当分布式锁出现大量竞争触发订阅发布流程,而subscriptionsPerConnection和subscriptionConnectionPoolSize设置较小时,redisson发布订阅的连接池打满出现等待,等待超过设置的连接超时事件就会报错Subscribe timeout

在Redisson3.16.8把版本中对该问题进行了改进,bug号:4064。针对订阅失败增加了重试逻辑,根据默认的重试次数进行重试,大幅度减少该报错的发生几率
https://github.com/redisson/redisson/issues/4064

在这里插入图片描述

 CompletableFuture<RedisPubSubConnection> connectFuture = connect(codec, channelName, msEntry, promise, type, lock, listeners);
                if (attempts.get() == config.getRetryAttempts()) {
                    return;
                }

                connectionManager.newTimeout(t -> {
                    if (connectFuture.cancel(true)) {
                        subscribe(codec, channelName, entry, promise, type, lock, attempts, listeners);
                        attempts.incrementAndGet();
                    }
                }, config.getRetryInterval(), TimeUnit.MILLISECONDS);

版本更新说明:

版本:3.16.8

如何切换到 redisson 3.16.8 这个版本 看源码?

git clone https://github.com/redisson/redisson.git
cd redisson
git checkout tags/版本号 -b 版本名

比如现状切换到 3.16.8版本

 git checkout tags/redisson-3.16.8 -b my-redisson-3.16.8-branch

该版本解决了因高并发下锁竞争超时导致的订阅异常,加入了超时的重试机制,重试多次失败后才进行报错

在这里插入图片描述
并且解决了当出现异常时,订阅不释放的问题
在这里插入图片描述
在这里插入图片描述

标题“51单片机通过MPU6050-DMP获取姿态角例程”解析 “51单片机通过MPU6050-DMP获取姿态角例程”是一个基于51系列单片机(一种常见的8位微控制器)的程序示例,用于读取MPU6050传感器的数据,并通过其内置的数字运动处理器(DMP)计算设备的姿态角(如倾斜角度、旋转角度等)。MPU6050是一款集成三轴加速度计和三轴陀螺仪的六自由度传感器,广泛应用于运动控制和姿态检测领域。该例程利用MPU6050的DMP功能,由DMP处理复杂的运动学算法,例如姿态融合,将加速度计和陀螺仪的数据进行整合,从而提供稳定且实时的姿态估计,减轻主控MCU的计算负担。最终,姿态角数据通过LCD1602显示屏以字符形式可视化展示,为用户提供直观的反馈。 从标签“51单片机 6050”可知,该项目主要涉及51单片机和MPU6050传感器这两个关键硬件组件。51单片机基于8051内核,因编程简单、成本低而被广泛应用;MPU6050作为惯性测量单元(IMU),可测量设备的线性和角速度。文件名“51-DMP-NET”可能表示这是一个与51单片机及DMP相关的网络资源或代码库,其中可能包含C语言等适合51单片机的编程语言的源代码、配置文件、用户手册、示例程序,以及可能的调试工具或IDE项目文件。 实现该项目需以下步骤:首先是硬件连接,将51单片机与MPU6050通过I2C接口正确连接,同时将LCD1602连接到51单片机的串行数据线和控制线上;接着是初始化设置,配置51单片机的I/O端口,初始化I2C通信协议,设置MPU6050的工作模式和数据输出速率;然后是DMP配置,启用MPU6050的DMP功能,加载预编译的DMP固件,并设置DMP输出数据的中断;之后是数据读取,通过中断服务程序从DMP接收姿态角数据,数据通常以四元数或欧拉角形式呈现;再接着是数据显示,将姿态角数据转换为可读的度数格
MathorCup高校数学建模挑战赛是一项旨在提升学生数学应用、创新和团队协作能力的年度竞赛。参赛团队需在规定时间内解决实际问题,运用数学建模方法进行分析并提出解决方案。2021年第十一届比赛的D题就是一个典型例子。 MATLAB是解决这类问题的常用工具。它是一款强大的数值计算和编程软件,广泛应用于数学建模、数据分析和科学计算。MATLAB拥有丰富的函数库,涵盖线性代数、统计分析、优化算法、信号处理等多种数学操作,方便参赛者构建模型和实现算法。 在提供的文件列表中,有几个关键文件: d题论文(1).docx:这可能是参赛队伍对D题的解答报告,详细记录了他们对问题的理解、建模过程、求解方法和结果分析。 D_1.m、ratio.m、importfile.m、Untitled.m、changf.m、pailiezuhe.m、huitu.m:这些是MATLAB源代码文件,每个文件可能对应一个特定的计算步骤或功能。例如: D_1.m 可能是主要的建模代码; ratio.m 可能用于计算某种比例或比率; importfile.m 可能用于导入数据; Untitled.m 可能是未命名的脚本,包含临时或测试代码; changf.m 可能涉及函数变换; pailiezuhe.m 可能与矩阵的排列组合相关; huitu.m 可能用于绘制回路图或流程图。 matlab111.mat:这是一个MATLAB数据文件,存储了变量或矩阵等数据,可能用于后续计算或分析。 D-date.mat:这个文件可能包含与D题相关的特定日期数据,或是模拟过程中用到的时间序列数据。 从这些文件可以推测,参赛队伍可能利用MATLAB完成了数据预处理、模型构建、数值模拟和结果可视化等一系列工作。然而,具体的建模细节和解决方案需要查看解压后的文件内容才能深入了解。 在数学建模过程中,团队需深入理解问题本质,选择合适的数学模
以下是关于三种绘制云图或等高线图算法的介绍: 一、点距离反比插值算法 该算法的核心思想是基于已知数据点的值,计算未知点的值。它认为未知点的值与周围已知点的值相关,且这种关系与距离呈反比。即距离未知点越近的已知点,对未知点值的影响越大。具体来说,先确定未知点周围若干个已知数据点,计算这些已知点到未知点的距离,然后根据距离的倒数对已知点的值进行加权求和,最终得到未知点的值。这种方法简单直观,适用于数据点分布相对均匀的情况,能较好地反映数据在空间上的变化趋势。 二、双线性插值算法 这种算法主要用于处理二维数据的插值问题。它首先将数据点所在的区域划分为一个个小的矩形单元。当需要计算某个未知点的值时,先找到该点所在的矩形单元,然后利用矩形单元四个顶点的已知值进行插值计算。具体过程是先在矩形单元的一对对边上分别进行线性插值,得到两个中间值,再对这两个中间值进行线性插值,最终得到未知点的值。双线性插值能够较为平滑地过渡数据值,特别适合处理图像缩放、地理数据等二维场景中的插值问题,能有效避免插值结果出现明显的突变。 三、面距离反比 + 双线性插值算法 这是一种结合了面距离反比和双线性插值两种方法的算法。它既考虑了数据点所在平面区域对未知点值的影响,又利用了双线性插值的平滑特性。在计算未知点的值时,先根据面距离反比的思想,确定与未知点所在平面区域相关的已知数据点集合,这些点对该平面区域的值有较大影响。然后在这些已知点构成的区域内,采用双线性插值的方法进行进一步的插值计算。这种方法综合了两种算法的优点,既能够较好地反映数据在空间上的整体分布情况,又能保证插值结果的平滑性,适用于对插值精度和数据平滑性要求较高的复杂场景。
Redisson是一个基于Redis的Java驻留库,提供了分布式和线程安全的Java数据结构。Redisson分布式锁实现是基于Redis的setnx命令和Lua脚本实现的。下面是Redisson分布式锁的源码分析: 1.获取锁 Redisson分布式锁获取方法是tryAcquire方法,该方法首先会尝试使用setnx命令在Redis中创建一个key,如果创建成功则表示获取锁成功,否则会进入自旋等待。在自旋等待期间,Redisson使用watchDog机制来监控锁的状态,如果锁被其他线程释放,则会重新尝试获取锁。 2.释放锁 Redisson分布式锁释放方法是release方法,该方法会使用Lua脚本来判断当前线程是否持有锁,如果持有锁则会使用del命令删除锁的key。 3.watchDog机制 Redisson的watchDog机制是用来监控锁的状态的,该机制会在获取锁时启动一个定时任务,定时任务会检查锁的状态,如果锁被其他线程释放,则会重新尝试获取锁。 ```java // 获取锁 public boolean tryAcquire(long waitTime, long leaseTime, TimeUnit unit) throws InterruptedException { long time = unit.toMillis(waitTime); long current = System.currentTimeMillis(); final long threadId = Thread.currentThread().getId(); final long leaseTimeInMillis = unit.toMillis(leaseTime); while (true) { if (tryAcquire()) { scheduleExpirationRenewal(threadId, leaseTimeInMillis); return true; } time -= (System.currentTimeMillis() - current); if (time <= 0) { return false; } current = System.currentTimeMillis(); if (Thread.interrupted()) { throw new InterruptedException(); } // watchDog机制 RFuture<RedissonLockEntry> future = subscribe(threadId); if (!future.await(time, TimeUnit.MILLISECONDS)) { return false; } } } // 释放锁 public void unlock() { if (isHeldByCurrentThread()) { unlockInner(); } } private void unlockInner() { Long ttl = commandExecutor.evalWriteAsync(getName(), LongCodec.INSTANCE, RedisCommands.EVAL_LONG, "if (redis.call('hexists', KEYS[1], ARGV[2]) == 0) then return nil end; " + "local counter = redis.call('hincrby', KEYS[1], ARGV[2], -1); " + "if (counter > 0) then return 0 end; " + "redis.call('del', KEYS[1]); " + "redis.call('publish', KEYS[2], ARGV[1]); " + "return 1;", Arrays.<Object>asList(getName(), getChannelName()), encode(new UnlockMessage(getName(), getLockName())), id); cancelExpirationRenewal(); if (ttl == null) { throw new IllegalMonitorStateException("attempt to unlock lock, not locked by current thread by node id: " + id + " thread-id: " + Thread.currentThread().getId()); } if (ttl == -1) { get(lockName).deleteAsync(); } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值