【Mysql】记一次生产CPU使用率突然剧增，内存一直飚高不下故障问题排查 （com.mysql.jdbc.MysqlIO.readFully）

问题：

生产某一小时内CPU使用率突然剧增，内存一直飚高不下，系统响应速度变慢

 

按照解决问题惯例，由于未影响到业务，但超过监控红线了，

快速分析问题，jstack抓堆栈日志定位如下，其后平滑重启了暂时一切正常。

后续待优化！

 

现象：

"ajp-nio-8009-exec-97" #239 daemon prio=5 os_prio=0 tid=0x00007f6708060800 nid=0x4503 runnable [0x00007f66ca8ad000]
   java.lang.Thread.State: RUNNABLE
	at java.net.SocketInputStream.socketRead0(Native Method)
	at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
	at java.net.SocketInputStream.read(SocketInputStream.java:171)
	at java.net.SocketInputStream.read(SocketInputStream.java:141)
	at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:114)
	at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:161)
	at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:189)
	- locked <0x000000058ca6d260> (a com.mysql.jdbc.util.ReadAheadInputStream)
	at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3116)
	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3570)
	at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3559)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4110)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2570)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2731)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2815)

分析：

对应业务线程为阻塞状态，且阻塞状态一直保持

1. 初步看是RDS的msql连接池连接满了hold不住了，所以推测问题跟连接池与RDS MySQL数据库有关；

2. 进一步分析查看数据库配置，查看连接超时时间，RDS默认24h，这个时间远超应用的处理连接时间，基本排除；

3. 谷歌度娘相关问题，调整数据库TCP缓冲区，没的任何卵用。。参考：http://m.blog.csdn.net/article/details?id=49018865

4. 分析找业务代码问题点中...

 

TODO

 

更新：

捉到大佬解决一毛一样的问题，思路出奇的一致，区别是我没定位到问题😫

转：https://cloud.tencent.com/developer/article/1477387

 

捞堆栈和业务日志去了，一般来说业务代码问题！

 

更新：

问题重现，抓到了业务堆栈信息，具体代码堆栈暂不贴了，由于读写频繁，导致mysql线程池耗尽，堵塞了；

 

解决：

业务代码查询新增了联合索引，问题暂未复现