021 处理JVM问题一般流程

学软件技术，读第一手资料，去官方网站：Java SE Specifications  

若想看垃圾收集的简易版本的，参见：Java垃圾收集基础

---

问题发生后，第一时间是快速保留问题现场供后面排查定位，然后尽快恢复服务。

问题发生后，第一时间是快速保留问题现场供后面排查定位，然后尽快恢复服务。

问题发生后，第一时间是快速保留问题现场供后面排查定位，然后尽快恢复服务。

---

1、问题处理总体概括

问题处理分为三大类：
（1）问题发生后的紧急处理原则
（2）问题归类和分析
（3）分析排查工具和命令
通常来说，最后的解决方式有两种：

第一种是最普遍的，绝大部分的最终问题原因可以定位到代码层面，修改代码后问题解决。
第二种，调整某些JVM参数，缓解问题发生的频率和时间，但是治标不治本，所以本篇分析文档并未涉及JVM参数的优化调整。

2、 紧急处理原则

问题发生后，第一时间是快速保留问题现场供后面排查定位，然后尽快恢复服务。保留现场的具体操作：

• 打印堆栈信息，命令行：jstat -l 'java进程PID'
• 打印内存镜像，命令行：jmap -dump:format=b,file=hprof 'java进程PID'
• 生成core文件，命令行：gcore 'java进程PID'
• 保留gc日志文件
• 保留业务日志文件
• 查看JAVA堆内存运行分配：命令行：jstat -gcutil 'java进程PID' 1000
• 完成以上操作后，尽快重启JAVA进程或回滚，恢复服务。

3、问题归类和分析

当应用系统运行缓慢，页面加载时间变长，后台长时间无影响时，都可以参考以下归类的解决方法。绝大部分的JAVA程序运行时异常都是Full GC、OOM(java.lang.OutOfMemoryError)、线程过多。主要分这么几大类：

• 持续发生Full GC，但是系统不抛出OOM错误
• 堆内存溢出：java.lang.OutOfMemoryError：Java heap space
• 线程过多：java.lang.OutOfMemoryError：unable to create new native thread
• JAVA进程退出
• CPU占用过高

通常来说，可以用一些常用的命令行来打印堆栈、内存使用分配、打印内存镜像文件来分析，比如jstack、jstat、jmap等。但是某些时刻，还是需要引入更高阶的代码级分析工具（比如btrace）才能定位到具体原因。

4、分析排查工具和命令

问题排查，除了最重要的解决思路外，合理的运用工具也能达到事半功倍的效果，某些时候用好了工具，甚至能直接定位到导致问题的具体代码。

JDK自带工具

Jstat

实时查看gc的状况，通过jstat -gcutil 可以查看new区、old区等堆空间的内存使用详情，以及gc发生的次数和时间

Jstack

很重要的命令，jstack可以用来查看Java进程里的线程都在干什么，对于应用没反应、响应非常慢等场景都有很大的帮助。几乎所有java问题排查时，我第一选择都是使用jstack命令打印线程信息。

Jmap

jmap -dump用于保存堆内存镜像文件，供后续MAT或其他的内存分析工具使用。jmap -histo:live也可以强制执行full gc。

Jinfo

通常我用它来查看Java的启动参数

gcore

我通常会使用gcore命令来保留问题现场，速度非常快。某些时候执行jstack或jmap会报错，加-F也不行，这个时候就可以用gcore命令，gcore javapid 可以生成core文件，可以通过jstack和jmap命令从core文件里导出线程和内存镜像文件。

堆内存分析工具

MAT

eclipse官方推出的本地内存分析工具，运行需要大量内存，从使用角度来讲，并不方便。我现在已经很少使用。

ZProfiler

阿里中间件出品的在线堆内存分析工具，链接是：http://zprofiler.alibaba-inc.com，不需要拷贝镜像文件，直接在线分析。

EagleEye-MProf

也是阿里中间件团队推出的，适用于复杂云环境的轻量级java堆内存分析工具，非常好用。在公共云或者专有云的机器上，运行的是客户的机器。由于权限或者网络的关系，我们很难去执行jmap进行heap dump，或者scp上传dump文件。这个工具可以直接在ECS上分析，而不用下载dump文件。

代码跟踪工具

Btrace

Java代码动态跟踪神器。少数的问题可以mat后直接看出，而多数会需要再用btrace去动态跟踪。比如排查线程创建过多的场景，通过btrace可以直接定位到哪段代码创建了大量线程。
比较麻烦的就是要自行编写脚本，不过现成的脚本也有不少，可以直接使用。

部分内容参考：JVM问题分析处理手册 - 知乎