记一次CPU占用过高的排查过程

芋圆在睡觉

已于 2022-06-24 10:04:08 修改

阅读量542

点赞数

分类专栏：杂写文章标签： cpu 性能优化 linux jvm

于 2021-12-29 00:16:50 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/lveex/article/details/122205503

版权

杂写专栏收录该内容

2 篇文章 0 订阅

订阅专栏

今天测试反馈线上测试环境的数据几乎不入库，而最近刚好新版本提测，估计是哪里影响了，先从部署环境排查入手。

top命令查看服务器的运行情况，发现个进程一直占着CPU，CPU消耗基本100%。

在这里插入图片描述
pwdx查看进程，发现该进程正好是模块的应用。

在这里插入图片描述
查看该进程的线程列表，看看是那个线程占用CPU过高：ps -mp 5866 -o THREAD,tid,time。

在这里插入图片描述
可以看到有个线程CPU占用高得很离谱，记录线程id，将线程id转成16进制，jstack打印该进程的堆栈，查找对应的线程。

在这里插入图片描述
从输出中可以看到具体阻塞的线程，定位到具体代码，发现有个阻塞队列获取元素的处理不合理，出现了死循环，导致CPU空转。

总结具体的排查过程：

# 查看进程号pid
top 

# 确认进程号对应的模块应用
pwdx pid 

# 查找耗时最长线程的tid
ps -mp pid -o THREAD,tid,time 

# 转成16进制
printf "%x\n" tid

# 堆栈查找指定线程，查看线程具体运行情况
jstack pid | grep tid -A 30