产品上出现CPU使用率超过98%,报警。top命令查看,应用进程的CPU使用率为388%。
正确的步骤应该是,通过 “top -Hp #PID” 查看具体哪些线程占用率CPU。找到对应的PID,然后转换成16进制,再再jstack线程堆栈中查找对应线程。
使用jstack查看线程堆栈,找到所有RUNNABLE线程。这个提供的信息比较少。
通过jmap 做堆转储。使用jvisualvm分析dump文件。查看线程堆栈,找到RUNNABLE线程,发现有11个正常处理的请求。奇怪得是,这些正常的请求几乎都执行到同一个地方。
点开 char[]18688 发现里面有特殊字符,是个emoji,?,请求的URL编码为%F0%9F%8D%84。查看其他10个正常的请求,发现是同样的特殊字符。
使用同样的特殊字符,在本地重现该问题。然后一步一步跟踪,找到是哪里进入了死循环。
问题找到了,这个emoji导致JDBC驱动进入了死循环。我们使用的JDBC驱动为 inet merlia 7.0。