记录一下公司的一次CPU飙高80%以上的处理

前言

最近一段时间，公司在做项目的迁移，主要是从AWS迁移到华为云，目前是已经将测试环境进行了迁移，生产环境是没有进行迁移的，但是在迁移前出现了一些小的问题，简单记录一下。

起因

再一次日常的工作中，项目leader突然发现虚拟机的CPU利用率经常性的超过80%，然后让我去分析处理一下。

经过

处理CPU飙高100%的理论知识是学了不少，但是真正在实际的生产中是从来没有进行过得，所以也是一直在向leader请教，结合自己学习的理论进行了分析优化。

要分析优化CPU飙高的问题一般是这几个步骤：

1. 先把问题定位出来，知道是哪个项目导致的。
2. 然后再定位到具体的代码，以及设计到的业务逻辑。
3. 然后根据对应的业务完成优化。

定位问题

定位CPU飙高100%的方式：

• 直接查看公司部署的arthas（阿尔萨斯），在上面可以直观地看到每个进程的运行情况以及占用的内存及CPU。
• 在控制台使用top命令可以查看到所有进程，可以查看到那个进程的CPU占比较高，然后拿到相应的pid，使用ps H =eo pid,tid,%cpu | grep 进程pid 可以找到进程中所有线程的信息，使用jstack 进程id 打印当前进程的所有线程信息，将刚才进程的线程id转换为16进制的线程id（打印的线程信息的id是16进制的），然后根据相应的线程id，定位到问题代码的代码行。

使用这两种方式可以直接定位到相应的业务，经过分析发现只有模组上下线的队列消费了，感觉应该是用量消费导致的。但是很快就发现了不对，在没有消费的时候，也有 CPU 增高的情况，不确定是哪个业务导致的，看起来像是线程池。像是流量校正，但是若是流量校正导致的，报警会很频繁。

结果

经过最后排查出来是一个DeviceOnlineConsumer的问题，也就是在同一时间在线用户太多了，然后导致CPU瞬间飙高，然后报警。后续他们是设置了线程池的参数进行了控制，因为我对业务这块很多东西都没有接触，所以就不得而知了。