一次线上CPU高的问题排查实践

一次线上CPU高的问题排查实践

前言

近期某一天上班一开电脑，就收到了运维警报，有两台服务CPU负载很高，同时收到一线同事反馈 系统访问速度非常慢，几乎无响应。

一个美好的早晨，最怕什么就来什么。只好推掉其他会议，专心搞定问题。

排查

登录系统一看，后端的接口访问果然全部超时。

1.先使用top命令查看下是由哪个进程占用CPU较高。

从图上可看出，pid=26481的Java进程占用了385%的CPU，机器是4核8G的配置。

2.然后查看下是哪个Java应用 ps -ef | grep java

发现是我们后端request服务的应用。

3.获取pid后，可以查看该进程下的线程列表。 命令： ps -mp pid -o THREAD,tid,time。

这里我们可以看出有4个线程，长时间占用较高的CPU资源。拿到一个tid=26496，printf “%x\n” tid , 转为16进制：6780

4.使用jstack打印线程的堆栈信息，./jstack pid | grep tid -A 30

从图上可看出，是由于该应用的GC异常导致CPU占用较高。

5.导出堆栈日志分析。 jstack 26481 >> jstat.out

解决问题

分析导出jstat.out，查找下RUNNABLE状态的线程。

ps：这里推荐一个分析日志的网站，超级好用，能生成图形界面的分析日志。只需要将生产的日志上传。Java Thread Dump Analyzer https://fastthread.io/

最终发现是Excel大量导出的问题。用户导出一年的财务报表，差不多近60万条数据，由于系统导出较慢，然后进行了多次点击下载，导致应用内存不足，频繁GC, 导致CPU超高，系统假死。

至此问题发现，解决问题就变得简单了。

• 重启应用，让用户使用优先。 最快捷、最有效的解决方式，哈哈
• 前端限制按钮点击次数。
• 后端Excel下载优化（考虑阿里的easyexcel,详细请看后续分享），以及将文件下载独立出一个微服务。