问题描述
1.线上出现,服务启动后,cpu占用率累计攀升,最后到达使用率100%的问题。
处理方向
1.首先定位那个服务导致cpu占用过大,定位到服务后,排查那个线程造成cpu的占用过高,找到线程后,查看改线程下的dump日志,分析代码,进行死锁,阻塞分析。如果没有一个线程使用cpu过高的,那么就要分析线程数,查看进程中有多少个线程,并分析线程状态占比,然后查看状态占比过大的,该状态下线程的dump日志,进行分析,为何会出现线程数过大。
处理方法
1.使用top命令查看,cpu占用的最高进程。
2.cat /proc/进程id/status 查看进程下线程数,是否在合理范围内。
3.jps 查看对应的那个服务。
4.top -H -p 进程id 查看进程下线程cpu使用率。
5.使用 printf "%x\n" 线程id ,转换线程id,将线程id转换为16进制。
6.jstack 进程id | grep -A 10 线程id的16进程。查看改线程下的dump日志,进行分析。
7.可以使用arthas工具,进行线程分析,使用thread 等命令进行线程分析。
最后线上发现的问题情况及解决
由于线上cpu飙升,但cpu占用率最高的服务下,单个线程占用的cpu使用率并不高,且没有死锁出现,改进程下出现大量timed_waiting 等待线程,怀疑系统大量创建线程,因为是job定时任务服务,使用的是spring的scheduled定时任务,怀疑代码中出现循环创建线程,根据定位dump日志发现,是因为nacos的配置文件的自动刷新导致的,在nacos自动刷新读取配置文件时,如果出现配置数据读取不到,会造成线程累积创建。