Load飙高问题排查过程

小徐很努力

于 2024-01-25 07:59:08 发布

阅读量1.1k

点赞数 30

分类专栏：故障分析文章标签： java 开发语言

本文链接：https://blog.csdn.net/weixin_44543482/article/details/135722119

版权

故障分析专栏收录该内容

7 篇文章 2 订阅

订阅专栏

🎉欢迎来到故障分析专栏：Load飙高问题排查过程

📜其他专栏：java面试数据结构源码解读 Sping 系统设计

🎬作者简介：大家好，我是小徐🥇
☁️博客首页：CSDN主页小徐的博客
🌄每日一句：好学而不勤非真好学者

📜 欢迎大家关注！ ❤️

一、问题背景

我们有一个应用，平常都好好的，运行的都比较平稳，但是每次应用在发布过程中，刚刚重启好的机器经常会有cpu利用率和load飙高的现象，进而导致我们应用的RT变高，很多调用方反馈有大量超时。

应用刚刚发布后的几分钟内，CPU飙高到70%，Load飙高到11，并持续几分钟后就好了

二、问题定位

这个问题的排查过程挺复杂的，刚开始怀疑是应用代码的问题，但是经过多方检查，打印各种堆、栈的dump，分析各种火焰图，都没有看到有什么异常.

后来又怀疑虚拟机、容器、宿主机是不是有问题，前后换了机器配置、docker镜像都没有什么变化。

后来有怀疑JDK的版本、堆内存设置、垃圾收集器等可能有关? 但是排查下来也都发现并没有什么特别的问题。

最后，经过多方讨论，定位到和JT优化有关。

我们知道, Java最开始是一种解释型语言，他的代码需要先通过iavac编译成class文件，然后再通过解释器将字节码将其翻译成对应的机器指令,逐条读入，逐条解释翻译。
但是这个过程太慢了，于是hotspot提出了JT优化，JIT优化器会基于热点代码检测，把热点代码直接翻译成机器语言，方便后续直接执行。大大提升了效率

理解了JT编译的原理之后，其实可以知道，JIT优化是在运行期进行的，并且也不是Java进程刚一启动就能优化的，是需要先执行一段时间的，因为他需要先知道哪些是热点代码。
所以，在JT优化开始之前，我们的所有请求，都是要经过解释执行的，这个过程就会相对慢此
而且，如果你们的应用的请求量比较大的的话，这种问题就会更加明显，在应用启动过程中会有大量的请求过来，这就会导致解释器持续的在努力工作

一旦解释器对CPU资源占用比较大的话，就会间接的导致CPU、LOAD等飙高，导致应用的性能进一步下降。

这也是为什么很多应用在发布过程中，会出现刚刚重启好的应用会发生大量的超时问题了
而随着请求的不断增多，JT优化就会被触发，这就是使得后续的热点请求的执行可能就不需要在通过解释执行了，直接运行JT优化后缓存的机器码就行了。