redis服务又出现卡死,又是一次不当使用,这个锅你背定了

本文讲述了在内网sandbox环境中,API应用因Redis连接池配置问题出现卡死的情况。通过一系列排查,发现是由于未配置MaxWaitMillis导致线程无限循环等待Redis连接,进而引发服务阻塞。最终通过调整Redis连接池配置,增加超时时间,解决了问题。同时提醒开发者注意Spring stringRedisTemplate的使用,避免直接获取Connection,确保连接及时归还。
摘要由CSDN通过智能技术生成

首先说下问题现象: 内网sandbox环境API持续1周出现应用卡死,所有api无响应。 刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应用,应用恢复正常,于是没做处理。但是后来问题出现频率越来越频繁,越来越多的同事开始抱怨,于是感觉代码可能有问题,开始排查。首先发现开发的本地ide没有发现问题,应用卡死时候数据库,redis都正常,并且无特殊错误日志。开始怀疑是sandbox环境机器问题,测试环境本身就很脆!_!于是ssh上了服务器 执行以下命令top

这时发现机器还算正常,于是打算看下jvm 堆栈信息先看下问题应用比较耗资源的线程执行 top -H -p 12798

找到前3个相对比较耗资源的线程jstack 查看堆内存

jstack 12798 |grep 12799的16进制 31ff

没看出什么问题,上下10行也看看,于是执行

看到一些线程都是处于lock状态。但没有出现业务相关的代码,忽略了。这时候没有什么头绪。思考一番,决定放弃这次卡死状态的机器。为了保护事故现场,先 dump了问题进程所有堆内存,然后debug模式重启测试环境应用,打算问题再出现时直接远程debug问题机器。第二天问题再现,于是通知运维nginx 转 发拿掉这台问题应用,自己远程debug tomcat。自己随意找了一个接口,断点在接口入口地方,悲剧开始,什么也没有发生!API等待服务响应,没进断点。这时候有点懵逼,冷静了一会,在入口之前的aop地方下了个断点,再debug一次,这次进了断点,f8 N次后发现在执行redis命令的时候卡住了。继续跟,最后在到jedis的一个地方发现问题:

/**
 * Returns a Jedis instance to be used as a Redis connection. The instance can be newly created or retrieved from a
 * pool.
 *
 * @return Jedis instance ready for wrapping into a {@link RedisConnection}.
 */
protected Jedis fetchJedisConnector() {
   try {
      if (usePool && pool != null) 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值