【转载】记一次因 Redis 使用不当导致应用卡死 bug 的排查及解决！

说明：此篇文章 作者分析问题的思路很好，值得学习记录，原文转载自公众号。

 

首先说下问题现象：内网sandbox环境API持续1周出现应用卡死，所有api无响应现象

刚开始当测试抱怨环境响应慢的时候 ，我们重启一下应用，应用恢复正常，于是没做处理。

但是后来问题出现频率越来越频繁，越来越多的同事开始抱怨，于是感觉代码可能有问题，开始排查。

首先发现开发的本地ide没有发现问题，应用卡死时候数据库，redis都正常，并且无特殊错误日志。开始怀疑是sandbox环境机器问题（测试环境本身就很脆!_!）

于是ssh上了服务器 执行以下命令

top

 

这时发现机器还算正常，于是打算看下jvm 堆栈信息

先看下问题应用比较耗资源的线程

执行 top -H -p 12798

 

找到前3个相对比较耗资源的线程

jstack 查看堆内存

jstack 12798 |grep 12799的16进制 31ff

 

没看出什么问题，上下10行也看看，于是执行

 

看到一些线程都是处于lock状态。但没有出现业务相关的代码，忽略了。这时候没有什么头绪。思考一番。决定放弃这次卡死状态的机器

为了保护事故现场 先 dump了问题进程所有堆内存，然后debug模式重启测试环境应用，打算问题再显时直接远程debug问题机器

第二天问题再现，于是通知运维nginx转发拿掉这台问题应用，自己远程debug tomcat。

自己随意找了一个接口，断点在接口入口地方，悲剧开始，什么也没有发生！API等待服务响应，没进断点。

这时候有点懵逼，冷静了一会,在入口之前的aop地方下了个断点，再debug一次，这次进了断点，f8 N次后发现在执行redis命令的时候卡主了。

继续跟，最后在到jedis的一个地方发现问题：

 1 /**
 2  * Returns a Jedis instance to be used as a Redis connection. The instance can be newly created or retrieved from a
 3  * pool.
 4  * 
 5  * @return Jedis instance ready for wrapping into a {
    @link RedisConnection}.
 6  */
 7 protected Jedis fetchJedisConnector() {
 8    try {
 9       if (usePool && pool != null) {
10          return pool.getResource();
11       }
12       Jedis jedis = new Jedis(getShardInfo());
13       // force initialization (see Jedis issue #82)
14       jedis.connect();
15       return jedis;
16    } catch (Exception