突然收到运维的CPU异常告警。
如何定位是哪个服务进程导致CPU过载,哪个线程导致CPU过载,哪段代码导致CPU过载?
步骤一、找到最耗CPU的进程
工具:top
方法:
- 执行top -c,显示进程运行信息列表
- 键入P(大写p),进程按照CPU使用率排序
图示:
如上图,最耗CPU的进程PID为10765
步骤二:找到最耗CPU的线程
工具:top
方法:
- top -Hp 10765,显示一个进程的线程运行信息列表(线程列表)
- 键入P(大写p),线程按照CPU使用率排序
- 执行“top -Hp 进程PID”命令。进程PID 是上一步 top 命令找出来的
- 也可以使用 ps -mp pid -o THREAD,tid,time
图示:
如上图,进程10765内,最耗CPU的线程PID为10804
步骤三:将线程PID转化为16进制
工具:printf
方法:printf "%x " 10804
10804对应的16进制是0x2a34,当然,这一步可以用计算器。
之所以要转化为16进制,是因为堆栈里,线程id是用16进制表示的。
步骤四:查看堆栈,找到线程在干嘛
工具:pstack/jstack/grep
方法:jstack 10765 | grep ‘0x2a34’ -C5 --color
- 打印进程堆栈
- 通过线程id,过滤得到线程堆栈
图示:
如上图,找到了耗CPU高的线程对应的线程名称“AsyncLogger-1”,以及看到了该线程正在执行代码的堆栈。
使用 jstack pid>pid.log 将线程栈 dump 到日志文件中
一定要保存现场日志 保存现场日志 保存现场日志 以便后面问题分析