今日性能测试过程中发现CPU使用率过高,出现性能瓶颈,于是开始了问题的监控分析:
1)首先定位是us态cpu高还是sys cpu高,如果是sys态cup高,那问题估计出现在linux内核,需要对linux内核进行优化,如果是us态cpu高,可对引用进行排查分析
2)top命令找到最耗cpu进程的PID,发现28400占用CPU最高
3)确定该进程后,定位该进程下的具体线程,找到占用cpu最长的线程,可使用命令:ps -mp 28400 -oTHREAD,tid,time | sort -rn
发现11090线程消耗cpu 5分钟了
3)将线程的ID转换成16进制:printf "%x\n" 11090
2b52(转换为16进制的值)
4)打印出线程的堆栈信息,发现存在大量WAIT找出有问题的代码,
可用命令:jstack 28400 |grep 2b52 -A 20 ,查看到大量wait和lock
具体信息涉及隐私,不贴图