redis服务又出现卡死,又是一次不当使用,这个锅我反正不背!

本文记录了一次由于Redis连接池配置问题引发的应用卡死问题的排查过程。通过分析线程堆栈、使用Arthas工具,发现应用在等待Redis连接时出现阻塞。最终发现是由于未配置MaxWaitMillis导致,调整配置并优化Redis模板的使用方式,避免了连接池问题,提高了应用稳定性。
摘要由CSDN通过智能技术生成

首先说下问题现象:内网sandbox环境API持续1周出现应用卡死,所有api无响应。
刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应用,应用恢复正常,于是没做处理。但是后来问题出现频率越来越频繁,越来越多的同事开始抱怨,于是感觉代码可能有问题,开始排查。
首先发现开发的本地ide没有发现问题,应用卡死时候数据库,redis都正常,并且无特殊错误日志。开始怀疑是sandbox环境机器问题,测试环境本身就很脆!_!
于是ssh上了服务器 执行以下命令
top
在这里插入图片描述

这时发现机器还算正常,于是打算看下jvm 堆栈信息
先看下问题应用比较耗资源的线程
执行 top -H -p 12798
在这里插入图片描述

找到前3个相对比较耗资源的线程
jstack 查看堆内存
jstack 12798 |grep 12799的16进制 31ff
在这里插入图片描述

没看出什么问题,上下10行也看看,于是执行
在这里插入图片描述

看到一些线程都是处于lock状态。但没有出现业务相关的代码,忽略了。这时候没有什么头绪。
思考一番,决定放弃这次卡死状态的机器。
为了保护事故现场,先 dump了问题进程所有堆内存,然后debug模式重启测试环境应用,打算问题再出现时直接远程debug问题机器。
第二天问题再现,于是通知运维nginx转发拿掉这台问题应用,自己远程debug tomcat。自己随意找了一个接口,断点在接口入口地方,悲剧开始,什么也没有发生!API等待服务响应,没进断点。这时候有点懵逼,冷静了一会,在入口之前的aop地方下了个断点,再debug一次,这次进了断点,f8 N次后发现在执行redis命令的时候卡主了。继续跟,最后在到jedis的一个地方发现问题:

/**
 * Returns a Jedis instance to be used as a Redis connection. The instance can be newly created or retrieved from a
 * pool.
 *
 * @return Jedis instance ready for wrapping into a {
   @link RedisConnection}.
 */
protected Jedis fetchJedisConnector() {
   
   try {
   
      if (usePool && pool != null) {
   
         return pool.getResource();
      }
      Jedis jedis = new Jedis(getShardInfo());
      // force initialization (see Jedis issue #82)
      jedis.connect();
      return jedis;
   } catch (Exception ex) {
   
      throw new RedisConnectionFailureException("Cannot get Jedis connection", ex);
   }
}

上面pool.getResource()后线程开始wait

public T getResource() {
   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值