排查线上服务出现cpu累积攀升的问题

问题描述

1.线上出现，服务启动后，cpu占用率累计攀升，最后到达使用率100%的问题。

处理方向

1.首先定位那个服务导致cpu占用过大，定位到服务后，排查那个线程造成cpu的占用过高，找到线程后，查看改线程下的dump日志，分析代码，进行死锁，阻塞分析。如果没有一个线程使用cpu过高的，那么就要分析线程数，查看进程中有多少个线程，并分析线程状态占比，然后查看状态占比过大的，该状态下线程的dump日志，进行分析，为何会出现线程数过大。

处理方法

1.使用top命令查看，cpu占用的最高进程。

 

2.cat /proc/进程id/status 查看进程下线程数，是否在合理范围内。

3.jps 查看对应的那个服务。

4.top -H -p 进程id  查看进程下线程cpu使用率。

5.使用 printf "%x\n" 线程id ,转换线程id,将线程id转换为16进制。

6.jstack 进程id | grep -A 10 线程id的16进程。查看改线程下的dump日志，进行分析。

7.可以使用arthas工具，进行线程分析，使用thread 等命令进行线程分析。

最后线上发现的问题情况及解决

由于线上cpu飙升，但cpu占用率最高的服务下，单个线程占用的cpu使用率并不高，且没有死锁出现，改进程下出现大量timed_waiting 等待线程，怀疑系统大量创建线程，因为是job定时任务服务，使用的是spring的scheduled定时任务，怀疑代码中出现循环创建线程，根据定位dump日志发现，是因为nacos的配置文件的自动刷新导致的，在nacos自动刷新读取配置文件时，如果出现配置数据读取不到，会造成线程累积创建。