多主节点连接池主节点挂机异常处理

最新推荐文章于 2023-09-02 17:30:26 发布
最新推荐文章于 2023-09-02 17:30:26 发布
阅读量444 收藏
点赞数
分类专栏： redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fxdfxq/article/details/80764104
版权
在上一章节 jedis源码分析（六）-扩展哨兵监控多主节点连接池的中写了一个测试多个主节点的分片储存连接池的测试类ShardedJedisSentinelPoolUtil，之后经过反复测试发现在多线程并发情况下，运行一段时候后发现会出现获取不到连接资源的问题，
异常信息如下：
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
at redis.clients.util.Pool.getResource(Pool.java:51)
at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
at redis.clients.util.Pool.getResource(Pool.java:49)
... 3 more
六月 21, 2018 6:29:02 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
经过测试发现由于多线程操作连接池导致连接资源不够导致，所以在操作redis的方法上加上synchronized锁来解决资源竞争问题，代码如下：
public static  synchronized String set(String key, String value) {
              ShardedJedis jedis = null;
              String result = null;
              try {
                     if (jedis == null) {
                           jedis = pool.getResource();
                     }
              }catch(Exception e) {
                      e.printStackTrace();
              }
              
              try {
                     result = jedis.set(key, value);
              } catch (Exception e) {
                     if(jedis !=null) {
                           jedis.close();
                     }
                     logger.info(e.getMessage());
              } finally {
                     if(jedis !=null) {
                           jedis.close();
                     }
              }
              return result;
       }

修改之后测试正常，没有发现获取不到资源的情况，我这里的测试使用两台主节点，各自有两个从节点，有两台哨兵节点监控两台主节点，结构图如下：
但是如果有一台主节点挂掉之后，在redis哨兵sentinel没有选举出新的主节点重新创建连接池的过程中，依然会报错，也会出现获取不到连接资源的问题，具体错误信息如下：
线程id:：37: 06:43:14: hello=OK
线程id:：45: 06:43:14: hello=OK
线程id:：161: 06:43:14: hello=OK
线程id:：49: 06:43:14: hello=OK
线程id:：53: 06:43:14: hello=null
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
       at redis.clients.util.Pool.getResource(Pool.java:51)
       at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
       at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
       at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:495)
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:362)
       at redis.clients.util.Pool.getResource(Pool.java:49)
       ... 3 more
六月 21, 2018 6:43:20 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
       at redis.clients.util.Pool.getResource(Pool.java:51)
       at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
       at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
       at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:495)
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:362)
       at redis.clients.util.Pool.getResource(Pool.java:49)
       ... 3 more
六月 21, 2018 6:43:22 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
线程id:：57: 06:43:14: hello=null
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
       at redis.clients.util.Pool.getResource(Pool.java:51)
       at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
       at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
       at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:495)
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:362)
       at redis.clients.util.Pool.getResource(Pool.java:49)
       ... 3 more
六月 21, 2018 6:43:24 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
线程id:：61: 06:43:14: hello=null
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
       at redis.clients.util.Pool.getResource(Pool.java:51)
       at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
       at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
       at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:495)
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:362)
       at redis.clients.util.Pool.getResource(Pool.java:49)
       ... 3 more
六月 21, 2018 6:43:26 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
线程id:：65: 06:43:14: hello=null
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel 127.0.0.1:4200 published: master1 127.0.0.1 4102 127.0.0.1 4103.
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters before change map: {master1=127.0.0.1:4102, master2=127.0.0.1:4101}.
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters before change: currentHostMasters[127.0.0.1:4102, 127.0.0.1:4101].
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters after change: [127.0.0.1:4103, 127.0.0.1:4101].
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值前currentHostMasters的值是：[127.0.0.1:4102, 127.0.0.1:4101]
六月 21, 2018 6:43:26 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值后currentHostMasters的值是：[127.0.0.1:4103, 127.0.0.1:4101]
六月 21, 2018 6:43:27 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: Created JedisPool to master at [127.0.0.1:4103, 127.0.0.1:4101]
redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool
       at redis.clients.util.Pool.getResource(Pool.java:51)
       at com.redis.demo.MultiShardedJedisSentinelPool.getResource(MultiShardedJedisSentinelPool.java:202)
       at com.redis.util.ShardedJedisSentinelPoolUtil.set(ShardedJedisSentinelPoolUtil.java:75)
       at com.redis.util.Thread1.run(ShardedJedisSentinelPoolUtil.java:206)
Caused by: java.util.NoSuchElementException: Unable to validate object
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:495)
       at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:362)
       at redis.clients.util.Pool.getResource(Pool.java:49)
       ... 3 more
六月 21, 2018 6:43:28 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: null
线程id:：180: 06:43:14: hello=null
线程id:：179: 06:43:14: hello=OK
线程id:：157: 06:43:14: hello=OK
线程id:：178: 06:43:14: hello=OK
线程id:：174: 06:43:14: hello=OK
线程id:：175: 06:43:14: hello=OK
线程id:：176: 06:43:14: hello=OK
，我的思路是想在redis重新选举出新的主节点的过程中让代码在获取连接资源等待一段时间，等sentinel选举出新的主节点重新创建连接池后，在重新操作redis。所以有一下进一步修改代码
public static synchronized String set(String key , String value ) {
              ShardedJedis jedis = null ;
              String result = null ;
               try {
                      if ( jedis == null ) {
                            jedis = pool .getResource();
                     }
              } catch (JedisException | NoSuchElementException e ) {
                      logger .info( "获取连接池中jedis对象异常，等待连接池恢复，线程等待10000毫秒" );
                      try {
                           Thread. sleep (10000L);
                     } catch (InterruptedException e1 ) {
                            e1 .printStackTrace();
                     }
                      if ( jedis == null ) {
                            jedis = pool .getResource();
                     }
              }
               try {
                      result = jedis .set( key , value );
              } catch (Exception e ) {
                      if ( jedis != null ) {
                            jedis .close();
                     }
                      logger .info( e .getMessage());
              } finally {
                      if ( jedis != null ) {
                            jedis .close();
                     }
              }
               return result ;
       }
运行代码测试，关闭一个主节点结果如下：
六月 21, 2018 6:52:22 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Trying to find master from available Sentinels...[127.0.0.1:4200, 127.0.0.1:4201]
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Connecting to Sentinel 127.0.0.1:4200
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Found Redis master at [127.0.0.1:4103]
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Connecting to Sentinel 127.0.0.1:4201
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Found Redis master at [127.0.0.1:4103, 127.0.0.1:4101]
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initSentinels
信息: Redis master running at [127.0.0.1:4103, 127.0.0.1:4101], starting Sentinel listeners...
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值前currentHostMasters的值是：null
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值后currentHostMasters的值是：[127.0.0.1:4103, 127.0.0.1:4101]
六月 21, 2018 6:52:23 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: Created JedisPool to master at [127.0.0.1:4103, 127.0.0.1:4101]
六月 21, 2018 6:52:23 下午 com.redis.util.ShardedJedisSentinelPoolUtil <clinit>
信息: 多节点连接池创建成功
线程id:：29: 06:52:23: hello=OK
线程id:：302: 06:52:23: hello=OK
线程id:：179: 06:52:23: hello=OK
................
线程id:：4842: 06:52:24: hello=OK
线程id:：4832: 06:52:24: hello=OK
六月 21, 2018 6:52:29 下午 com.redis.util.ShardedJedisSentinelPoolUtil set
信息: 获取连接池中jedis对象异常，等待连接池恢复，线程等待10000毫秒
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel 127.0.0.1:4200 published: master1 127.0.0.1 4103 127.0.0.1 4102.
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters before change map: {master1=127.0.0.1:4103, master2=127.0.0.1:4101}.
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters before change: currentHostMasters[127.0.0.1:4103, 127.0.0.1:4101].
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool$MasterListener$1 onMessage
信息: Sentinel masters after change: [127.0.0.1:4102, 127.0.0.1:4101].
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值前currentHostMasters的值是：[127.0.0.1:4103, 127.0.0.1:4101]
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: 赋值后currentHostMasters的值是：[127.0.0.1:4102, 127.0.0.1:4101]
六月 21, 2018 6:52:35 下午 com.redis.demo.MultiShardedJedisSentinelPool initPool
信息: Created JedisPool to master at [127.0.0.1:4102, 127.0.0.1:4101]
线程id:：4864: 06:52:24: hello=OK
线程id:：4872: 06:52:24: hello=OK
线程id:：4862: 06:52:24: hello=OK
线程id:：4836: 06:52:24: hello=OK
线程id:：4852: 06:52:24: hello=OK
线程id:：4856: 06:52:24: hello=OK
....................
结果没有异常发生，数据正常存入，可以解决在sentinel重新选举过程中获取不到连接资源导致异常发生，但是等待的具体时间不好界定，如果超过10000毫秒之后sentinel仍然没有选举出新的主节点重新初始化连接池，这里获取不到连接资源的问题仍然存在。
不知道有没碰到类似问题的同学是怎么解决这个问题的。

fanxd_1
关注
专栏目录
xxljob从入门到精通-全网段最全解说
lifetragedy的专栏
06-05 1万+
XXL-JOB特性一览 基本概念 xxljob解决的是以下几个痛点： 1） 跑批处理监控无法可视化，当前跑批的状态是：成功？失败？挂起？进度？为什么失败/原因？ 2）批处理任务不可重用，特别是无法对批处理任务做：定时？重复使用？频次？其中路由调度？ 3）批处理任务无法做到网格计算（特别像：websphere ibm grid computing）即批处理任务本身可以做成集群、fail over、sharding 由其是批处理任务可以做成“网格计算”这个功能，有了xxljob后你会发觉特别强大
消息中间件之二：kafka详解
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
09-02 671
概述 Kafka是一种分布式的，基于发布/订阅的消息系统。 整理中……
Redis 主从模式下主节点挂了怎么办? 如何为间断对外提供服务？ Redis哨兵 Sentinel
坚持需要成为习惯
08-25 4826
哨兵是什么? 哨兵是Redis高可用(HA)的解决方案.只不过他不支持数据的存储. 它的组成: Sentinel是一个系统(或者说是集群)它是由一个(多个实例)组成 为什么需要Redis哨兵? Redis有主从模式(客户端写操作发送到主节点,读操作发送到从节点) 如果这时候主节点出现故障，不能对外提供服务了.这个时候我们需要做哪几个操作才能正常的对外提供不间断服务. 1.我们不知什么主节点挂了(最主要的问题) 2.手工把从库设置为主库 3.户端还需要修改新的主库地址 Redis如果解决这些问题 首先我们
Redis 集群之主从复制 (哨兵机制)（centos7）
MrLee的博客
08-04 458
一，概述 1、redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库（master）一类是从数据库（slave），主数据库可以进行读写操作，当发生写操作的时候自动将数据同步到从数据库，而从数据库一般是只读的，并接收主数据库同步过来的数据，一个主数据库可以有多个从数据库，而一个从数据库只能有一个主数据库。 2、通过redis的复制功能可以很好的实现数据库的读写分离，提高服务器的负载能...
（Redis）主从复制模式下，主挂了怎么办？
qq_38969734的博客
04-12 1431
redis 提供了哨兵模式（高可用） 何谓哨兵模式？ 就是通过哨兵节点进行自主监控主从节点以及其他哨兵节点，发现主节点故障时自主进行故障转移。
扩展Redis的Jedis客户端，哨兵模式读请求走Slave集群
大新博客
12-06 4881
Redis哨兵模式，由Sentinel节点和Redis节点组成，哨兵节点负责监控Redis的健康状况，负责协调Redis主从复制的关系。 本文不详细讨论Redis哨兵模式，关于哨兵的详细介绍可以参考（https://blog.csdn.net/u010297957/article/details/55050098）   在使用哨兵模式以后，客户端不能直接连接到Redis集群，而是连接到哨兵集...
0073-jedis哨兵模式下感知主节点变更
登峰小蚁
03-18 2894
文章目录参考1. 哨兵模式的客户端连接2. 存在的不足3. 读写分离3.1 改造JedisSentinelPool3.2 新建slave的工厂3.3 用法3.4 spring集成 参考 1. 哨兵模式的客户端连接 哨兵模式下，客户端不能直接连接master节点，需要连接哨兵集群 /** * 原始的jedis * 1. 可以实现主节点的自动切换 * 2. 但是池化对象都是master节点，无法...
redis一主多从高可用集群搭建
Crayon
03-23 5061
Redis 一主两从高可用环境搭建 Redis 支持 Master-Slave(主从)模式，Redis Server 可以设置为另一个 Redis Server 的主机（从机），从机定期从主机拿数据。特殊的，一个从机同样可以设置为一个 Redis Server 的主机，这样一来 Master-Slave 的分布看起来就是一个有向无环图 DAG，如此形成 Redis Server 集群，无论是主机...
微服务--Sentinel(实现：服务高可用)
最新发布
时间墨客
09-02 1160
内存溢出：OOM。
2019年JAVA最新面试题部分
段远山
10-24 1193
一：基础篇 1.1 集合篇 1.ArrayList和LinkedList的区别是什么(面试)? 答案：①是否保证线程安全：ArrayList 和 LinkedList 都是不同步的，也就是不保证线程安全； ② 底层数据结构：Arraylist 底层使用的是Object数组；LinkedList 底层使用的是双向循环链表数据结构； ③ 插入和删除是否受元素位置的影响：①ArrayL...
jedis连接redis哨兵
weixin_42760466的博客
01-10 3198
jedis连接redis哨兵 在有哨兵监控的主从结构下，使用jedis连接有以下几个步骤 使用JedisSentinelPool对象连接sentinel sentinel会返回给客户端当前master的地址 这个地址必须是客户端可以识别的(使用虚拟linux系统实验的情况下不能配置localhost或者127.0.0.1) 客户端会拿着这个地址去请求mater节点 ... String masterName = "mymaster"; Set<String> sent
jedispool redis哨兵_sentinel、JedisSentinelPool实战
weixin_35658042的博客
01-13 1540
一、最小sentinel集群配置Redis 2.8，其Sentinel版本称为Sentinel 2，是在Sentinel 1的基础上重写的。因为Sentinel 1已经废弃而且BUG太多，所以强烈建议将Redis和Sentinel均升级到2.8版本，本文中安装的版本为最新的2.8.23。1、环境：centos主机的IP：172.30.37.73在centos上安装redis软件，然后添加配置文件，...
Redis Sentinel初体验
张伟的专栏
11-19 1798
自Redis增加Sentinel集群工具以来，本博主就从未尝试过使用该工具。最近在调研目前主流的Redis集群部署方案，所以详细地看了一遍官方对于Sentinel的介绍并在自己的台式机上完成了三Redis实例+三Sentinel实例的部署，这里做一下简单的总结。     首先，下载安装Redis。目前随Redis 2.8发布的Sentinel版本被antirez称为Sentinel 2，是在Se
jedis源码分析（六）-扩展哨兵监控多主节点连接池
fxdfxq的博客
06-14 658
之前分析了jedis中连接对象jedis，ShardedJedis 和连接池jedisPool，JedisSentinelPool源码，jedis和jedisPool都是对单个实例节点的操作，ShardedJedis是对多个节点的操作，jedisSentinelPool是对多个哨兵监控一个主节点，（从节点不关心）的操作，目前我们遇到一个情况，我们实际场景中，可能有多个主节点，多个从节点，多个哨兵节...
redis集群和spring结合
yinbucheng的博客
07-27 710
研究Redis也有一段时间了，在前面的redis系列文章中，介绍了Redis的安装，集群配置，及节点的增加和删除，但是并未实际的使用到项目中，趁这周末时间，参照项目中实际的使用场景，做了一个Redis集群spring整合的案例，在介绍案例之前，先简单介绍下Redis集群的方式有哪些  1、单机版 不解释  2、Sentinel 哨兵模式  3、Redis Cluster Redis官方集群方
Jedis如何感知Redis Sentinel中的主节点切换【源码分析】
03-20 1052
Jedis中Redis Sentinel的客户端JedisSentinelPool的源码分析。 JedisSentinelPool 代码如下，其中的重点部分为initSentinels和initPool，其他判断略。 public JedisSentinelPool(String masterName, Set<String> sentinels, GenericObjectPool...
【Jedis详解】Sentinel连接创建与关闭
u011423880的博客
02-27 3300
本篇主要讲解Jedis源码中连接Sentinel获取连接池及其关闭的部分，Redis Sentinel的相关内容大家可以参考《Redis运维与开发》这本书，个人觉得是非常好的Redis入门书籍。 1. Sentinel连接池初始化 通过Jedis连接Sentinel我们需要先构建JedisSentinelPool，通过它再获取到Jedis实例，然后就可以进行Redis操作，代码大体如下：...
Redis Q&A (持续更新)
Be yourself.
07-19 370
前言 本章主要记录使用Redis&amp;Redis Cluster&amp;Jedis的过程中遇到的报错与一系列问题。 Q&amp;A 单个Jedis，多线程调用，导致异常。 * 多线程redis抛出异常B cannot be cast to java.lang.Long * https://blog.csdn.net/JavaMoo/article/details/7723...
OpenStack多节点部署指南
"openstack多节点搭建指南" OpenStack是一个开源的云计算管理平台，常用于构建私有云和公有云。本指南将详细介绍如何在多节点环境下搭建OpenStack，包括控制节点、计算节点和网络节点的配置。以下是详细的步骤： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值