Jvm基础篇-03-虚拟机性能监控、故障处理工具

1. 简述

• 给一个系统定位问题的时候，知识、经验是关键基础，数据是依据，工具是运用知识处理数据的手段。这里说的数据包括但不限于异常堆栈、虚拟机运行日志、垃圾收集器日志、线程快照（threaddump/javacore文件）、堆转储快照（heapdump/hprof文件）等。

• 恰当地使用虚拟机故障处理、分析的工具可以提升我们分析数据、定位并解决问题的效率，但我们在学习工具前，也应当意识到工具永远都是知识技能的一层包装，没有什么工具是“秘密武器”，拥有了就能“包治百病”。

2. 基础故障处理工具

• Java开发人员肯定都知道JDK的bin目录中有java.exe、javac.exe这两个命令行工具，但并非所有程序员都了解过JDK的bin目录下其他各种小工具的作用。
• 随着JDK版本的更迭，这些小工具的数量和功能也在不知不觉地增加与增强。除了编译和运行Java程序外，打包、部署、签名、调试、监控、运维等各种场景都可能会用到它们，这些工具如图所示。
  
  在本章，笔者将介绍这些工具中的一部分，主要是用于监视虚拟机运行状态和进行故障处理的工具。这些故障处理工具并不单纯是被Oracle公司作为“礼物”附赠给JDK的使用者

根据软件可用性和授权的不同，可以把它们划分成三类：

• 商业授权工具：主要是JMC（Java Mission Control）及它要使用到的JFR（Java Flight Recorder），JMC这个原本来自于JRockit的运维监控套件从JDK7Update40开始就被集成到0racleJDK中，JDK11之前都无须独立下载，但是在商业环境中使用它则是要付费的。
• 正式支持工具：这一类工具属于被长期支持的工具，不同平台、不同版本的JDK之间，这类工具可能会略有差异，但是不会出现某一个工具突然消失的情况等;
• 实验性工具：这一类工具在它们的使用说明中被声明为“没有技术支持，并且是实验性质的”（Unsup-ported and Experimental）产品，日后可能会转正，也可能会在某个JDK版本中无声无息地消失。但事实上它们通常都非常稳定而且功能强大，也能在处理应用程序性能问题、定位故障时发挥很大的作用。

读者如果比较细心的话，还可能会注意到这些工具程序大多数体积都异常小。假如之前没注意到，现在不妨再看看图中的最后一列“大小”，各个工具的体积基本上都稳定在21KB左右。并非JDK开发团队刻意把它们制作得如此精炼、统一，而是因为这些命令行工具大多仅是一层薄包装而已，真正的功能代码是实现在JDK的工具类库中的，读者把两张图片对比一下就可以看得很清楚。假如读者使用的是Linux版本的JDK，还可以发现这些工具中不少是由Shel脚本直接写成，可以用文本编辑器打开并编辑修改它们。

JDK开发团队选择采用Java语言本身来实现这些故障处理工具是有特别用意的：当应用程序部署到生产环境后，无论是人工物理接触到服务器还是远程Telnet到服务器上都可能会受到限制。借助这些工具类库里面的接口和实现代码，开发者可以选择直接在应用程序中提供功能强大的监控分析功能。

2.1 jps：虚拟机进程状况工具

jps（JVM Process Status Tool）可以列出正在运行的虚拟机进程，并显示虚拟机执行主类（Main Class，main（）函数所在的类）名称以及这些进程的本地虚拟机唯一ID（LVMID，Local Virtual Machine Identifier）。

• 虽然功能比较单一，但它绝对是使用频率最高的JDK命令行工具，因为其他的JDK工具大多需要输入它查询到的LVMID来确定要监控的是哪一个虚拟机进程。

• 对于本地虚拟机进程来说，LVMID与操作系统的进程ID（PID，Process Identifier）是一致的，使用Win-
  dows的任务管理器或者UNIX的ps命令也可以查询到虚拟机进程的LVMID，但如果同时启动了多个虚拟机进程，无法根据进程名称定位时，那就必须依赖jps命令显示主类的功能才能区分了。

jps命令格式：

jps[options][hostid]

jps执行样例：

jps-12388
D:\Develop\glassfish\bin\..\m odules\admin-cli.jar
2764 com.sun.enterprise.glass fish.bootstrap.ASMain
3788 sun.tools.jps.Jps jps

还可以通过RMI协议查询开启了RMI服务的远程虚拟机进程状态，参数hostid为RMI注册表中注册的主机名;
Jps的其他主要选项：

选项	作用
-q	只输出LVMID，省略主类的名称
-m	输出虚拟机进程启动时传递给主类main（）函数的参数
-l	输出主类的全名，如果进程执行的是JAR包，则输出JAR路径
-v	输出虚拟机进程启动时的JVM参数

2.2 jstat：虚拟机统计信息监视工具

jstat（JVM Statistics Monitoring Tool）是用于监视虚拟机各种运行状态信息的命令行工具。

• 它可以显示本地或者远程虚拟机进程中的类加载、内存、垃圾收集、即时编译等运行时数据;

jstat命令格式为：

jstat [option vmid [interval[s|ms][count]]]

对于命令格式中的VMID与LVMID需要特别说明一下：

• 如果是本地虚拟机进程，VMID与LVMID是一致的；
• 如果是远程虚拟机进程，那VMID的格式应当是：

[protocol:][//]lvmid[@hostnam e[：port]/servername]

参数nterval和count代表查询间隔和次数，如果省略这2个参数，说明只查询一次。假设需要每250毫秒查询一次进程2764垃圾收集状况，一共查询20次，那命令应当是：

jstat-gc 2764 250 20

选项option代表用户希望查询的虚拟机信息，主要分为三类：类加载、垃圾收集、运行期编译状况。
Jstat 主要命令如下：

案例如下：

jstat -gcutil  2764
SO    S1    E      O      P     YGC  YGCT   FGC   FGCT     GCT
0.00  0.00  6.20  41.42  47.20  16   0.105   3    0.472   0.577

查询结果表明：这台服务器的新生代Eden区（E，表示Eden）使用了6.2%的空间，2个Survivor区（S0、S1，表示Su rvivor0、Survivor1）里面都是空的，老年代（O，表示Old）和永久代（P，表示Permanent）则分别使用了41.42%和47.20%的空间。程序运行以来共发生Minor GC（YGC，表示Young GC）16次，总耗时0.105秒；发生Full GC（FGC，表示F ull GC）3次，总耗时（FGCT，表示FullGC Time）为0.472秒；所有GC总耗时（GCT，表示GCTime）为0.577秒。

2.3 jinfo: Java配置信息工具

jinfo（Configuration Info for Java）的作用是实时查看和调整虚拟机各项参数。

• 使用jps命令的-v参数可以查看虚拟机启动时显式指定的参数列表，但如果想知道未被显式指定的参数的系统默认值，除了去找资料外，就只能使用jinfo的-flag选项进行查询了（如果只限于JDK6或以上版本的话，使用java -XX：+PrintFlagsFinal查看参数默认值也是一个很好的选择）。

• jinfo还可以使用-sysprops选项把虚拟机进程的System.getproperties（）的内容打印出来。
  这个命令在JDK5时期已经随着Linux版的JDK发布，当时只提供了信息查询的功能，JDK6之后，jinfo在Windows和Lin ux平台都有提供，并且加入了在运行期修改部分参数值的能力（可以使用-flag[+I-]name 或者-flag name=value在运行期修改一部分运行期可写的虚拟机参数值）。
  在JDK6中，jinfo对于Windows平台功能仍然有较大限制，只提供了最基本的-flag选项。

jinfo命令格式：

jinfo [option] pid

执行样例：查询CMSInitiatingOccupancyFraction参数值

jinfo-flag CMSInitiatingoccupancy Fraction 1444
-XX:CMSInitiatingoccupancyFra ction=85

2.4 jmap: Java内存映像工具

jmap（Memory Map for Java）命令用于生成堆转储快照（一般称为heapdump或dump文件）。

• 如果不使用jmap命令，要想获取Java堆转储快照也还有一些比较“暴力”的手段：

  • 譬如在之前用过的-XX：+HeapDumpOnOutOfMemoryError参数，可以让虚拟机在内存溢出异常出现之后自动生成堆转储快照文件
  • 通过-XX：+HeapDumpOnCtrIBreak参数则可以使用[Ctrl]+[Break]键让虚拟机生成堆转储快照文件，又或者在Linux系统下通过Kill-3命令发送进程退出信号“恐吓”一下虚拟机，也能顺利拿到堆转储快照。

• jmap的作用并不仅仅是为了获取堆转储快照，它还可以查询finalize执行队列、Java堆和方法区的详细信息，如空间使用率、当前用的是哪种收集器等。

• 和jinfo命令一样，jmap有部分功能在Windows平台下是受限的，除了生成堆转储快照的-dump选项和用于查看每个类的实例、空间占用统计的-histo选项在所有操作系统中都可以使用之外，其余选项都只能在Linux/Solaris中使用。

jmap命令格式：

jmap [option] vmid

option选项的合法值与具体含义如表所示。
jmap工具主要选项

选项	作用
-dump	生成Java堆转储快照。格式为-dump:[live，]format=b，file=filename，其中live子参数说明是否只dump出存活的对象
-finalizerinfo	显示在F-Queue中等待Finalizer线程执行finalize方法的对象，只在Linux/Solaris平台下有效
-heap	显示Java堆详细信息，如使用哪种回收器、参数配置、分代状况等，只在Linux/Solaris平台下有效
-histo	显示堆中对象统计信息，包括类,实列数量，合计容量
-permstat	以ClassLoader为统计口径显示永久代内存状态,只在Linux/Solaris平台下有效
-F	当虚拟机进程对-dump选项没响应时,可使用这个选项强制生成dump快照,只在Linux/Solaris平台下有效

2.5 jhat：虚拟机堆转储快照分析工具

JDK提供jhat（JVM Heap Analysis T ool）命令与jmap搭配使用，来分析map生成的堆转储快照。

• jhat内置了一个微型的HTTP/Web服务器，生成堆转储快照的分析结果后，可以在浏览器中查看。
  • 不过实事求是地说，在实际工作中，除非手上真的没有别的工具可用，否则多数人是不会直接使用jhat命令来分析堆转储快照文件的，主要原因有两个方面。
  • 一是一般不会在部署应用程序的服务器上直接分析堆转储快照，即使可以这样做，也会尽量将堆转储快照文件复制到其他机器上进行分析，因为分析工作是一个耗时而且极为耗费硬件资源的过程，既然都要在其他机器上进行，就没有必要再受命令行工具的限制了。
  • 另外一个原因是jnat的分析功能相对来说比较简陋，后文将会介绍到的VisualVM，以及专业用于分析堆转储快照文件的Eclipse Me mory Analyzer、IBM HeapAnalyzer等工具，都能实现比jhat更强大专业的分析功能。

2.6 jstack: Java堆栈跟踪工具

jstack（Stack Trace for Java）命令用于生成虚拟机当前时刻的线程快照（一般称为threaddump或者javacore文件）。

• 线程快照就是当前虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的目的通常是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间挂起等，都是导致线程长时间停顿的常见原因。线程出现停顿时通过jstack来查看各个线程的调用堆栈，就可以获知没有响应的线程到底在后台做些什么事情，或者等待着什么资源。

jstack命令格式：

jstack [option] vmid

option选项的合法值与具体含义如表所示。
Jstack工具的主要选项

选项	作用
-F	当正常输出的请求不被响应时，强制输出线程堆栈
-l	除堆栈外,显示关于锁的附加信息
-m	如果调用到本地方法的话，可以显示C/C++的堆栈

从JDK5起，java.lang.Thread类新增了一个getAlIStackTraces（）方法用于获取虚拟机中所有线程的StackTraceElement对象。使用这个方法可以通过简单的几行代码完成jstack的大部分功能，在实际项目中不妨调用这个方法做个管理员页面，可以随时使用浏览器来查看线程堆栈，这也算是笔者的一个小经验。

2.7 基础工具总结

• 基础工具：用于支持基本的程序创建和运行
  
• 安全工具：用于程序签名、设置安全测试等

选项	作用
keytool	管理密钥库和证书。主要用于获取或缓存Kerberos协议的票据授权票据。允许用户 查看本地凭据缓存和密钥表中的条目（用于Kerberos协议）
jarsigner	生成并验证JAR签名
policytool	管理策略文件的GUI工具,用于管理用户策略文件(.java.policy)，在JDK10中被移除

• 国际化工具：用于创建本地语言文件
  

• 远程方法调用工具：用于跨Web或网络的服务交互

选项	作用
rmic	JavaRMI编译器，为使用JRMP或IIOp协议的远程对象生成Stub、Skeleton和Tie类，也用于生成OMG IDL
rmiregisrty	远程对象注册表服务，用于在当前主机的指定端口上创建并启动一个远程对象注册表
rmid	启动激活系统守护进程，允许在虚拟机中注册或激活对象
serialver	生成并返回指定类的序列化版本ID

• Java IDL与RMI-11OP工具：在JDK11中结束了十余年的CORBA支持，这些工具不再提供

选项	作用
tnameserv	提供对命名服务的访问
idlj	IDL转Java编译器（IDL-to-Ja va Compiler），生成映射OMG IDL接口的Java源文件，并启用以Java编程语言编写的使用CORBA功能的应用程序的Java源文件。IDL意即接口定义语言（Interface Definition Language）
ordb	对象请求代理守护进程（Object Request Broker Daemon），提供从客户端查找和调用CORBA环境服务端上的持久化对象的功能。使用ORBD代替瞬态命名服务tmuneserV。ORBD包括瞬态命名服务orbd和持久命名服务。ORBD工具集成了服务器管理器、互操作命名服务和引导名称服务器的功能。当客户端想进行服务器时定位、注册和激活功能时，可以与servertool一起使用
servertool	为应用程序注册、注销、启动和关闭服务器提供易用的接口

• 部署工具：用于程序打包、发布和部署

选项	作用
javapackager	打包、签名Java和JavaFX应用程序，在JDK11中被移除
pack200	用Java GZIP压缩器将JAR文件转换为压缩的Pack200文件。压缩的压缩文件是高度压缩的JAR，可以直接部署，节省带宽并减少下载时间
unpack200	将Pack200生成的打包文件解压提取为JAR文件

• Java Web Start工具

选项	作用
javaws	启动Java Web Start并设置各种选项的工具。在JDK11中被移除

• 性能监控和故障处理工具：用于监控分析Java虚拟机运行信息，排查问题
  

• WebService工具：与CORBA一起在JDK11中被移除

选项	作用
schemagen	用于XML绑定的Schema生成器，用于生成XMLSchema文件
wsgen	XML Web Service 2.0的Java wsge API，生成用于JAX-WS Web Service的JAX-WS便携式产物
wsimport	XML Web Service 2.0的Java API，主要用于根据服务端发布的WSDL文件生成客户端
xjc	主要用于根据XML Schema文件生成对应的Java类

• REPL和脚本工具

选项	作用
jshell	基于Java的Shell REPL（Rea-d-Eval-Print Loop）交互工具
jjs	对Nashoin引擎的调用入口。Nashorn是基于Java实现的一个轻量级高性能JavaScript运行环境
jrunscript	Java命令行脚本外壳工具（C jrun-ommand Line Script Shell），主要用于解释执行JavaScript、Groovy、Ruby等脚本语言

• 可视化故障处理工具
  这类工具主要包括JConsole、JHSDB、VisualVM和JMC四个。其中，JConsole是最古老，早在JD K5时期就已经存在的虚拟机监控工具，而JHSDB虽然名义上是JDK9中才正式提供，但之前已经以sa-jdi.jar包里面的HSDB（可视化工具）和CLHSDB（命令行工具）的形式存在了很长一段时间。它们两个都是JDK的正式成员随着JDK一同发布，无须独立下载，使用也是完全免费的。
  Java Mission Control，曾经是大名鼎鼎的来自BEA公司的图形化诊断工具，随着BEA公司被Oracle收购，它便被融合进OracleJDK之中。在JDK7update40时开始随JDK一起发布，后来Java SEAdvanced产品线建立，Oracle明确区分了Oracle OpenJDK和OracleJDK的差别，JMC从JDK11开始又被移除出JDK。虽然在2018年Oracle将JMC开源并交付给OpenJDK组织进行管理，但开源并不意味着免费使用，IMC需要与HotSpot内部的“飞行记录仪”（Java Fli ght Recorder，JFR）配合才能工作，而在JDK11以前，JFR的开启必须解锁Or-acleJDK的商业特性支持（使用JCMD的VM.unlock_commercial_features或启动时加入-XX：+UnlockCommercialFeatures参数），所以这项功能在生产环境中仍然是需要付费才能使用的商业特性。

  • JHSDB：基于服务性代理的调试工具
    JHSDB是一款基于服务性代理（Serviceability Agent，SA）实现的进程外调试工具。服务性代理是HotSpot虚拟机中一组用于映射Java虚拟机运行信息的、主要基于Java语言（含少量JI代码）实现的API集合。服务性代理以HotSpot内部的数据结构为参照物进行设计，把这些C++的数据抽象出Java模型对象，相当于HotSpot的C++代码的一个镜像。通过服务性代理的API，可以在一个独立的Java虚拟机的进程里分析其他HotSpot虚拟机的内部数据，或者从HotSpot虚拟机进程内存中dump出来的转储快照里还原出它的运行状态细节。服务性代理的工作原理跟Linux上的GDB或者Windows上的Windbg是相似的。
    
    首先点击菜单中的Tools->Heap Parameters，结果如图所示，因为笔者的运行参数中指定了使用的是Serial收集器，图中我们看到了典型的Serial的分代内存布局，Heap Parameters窗口中清楚列出了新生代的Eden、S1、S2和老年代的容量（单位为字节）以及它们的虚拟内存地址起止范围。
    

  • JConsole:Java监视与管理控制台
    JConsole（Java Monitoring and Management Console）是一款基于JMX（Java Manage-ment Extensions）的可视化监视、管理工具。它的主要功能是通过JMX的MBean（Managed Bean）对系统进行信息收集和参数动态调整。JMX是一种开放性的技术，不仅可以用在虚拟机本身的管理上，还可以运行于虚拟机之上的软件中，典型的如中间件大多也基于JMX来实现管理与监控。虚拟机对JMXMBean的访问也是完全开放的，可以使用代码调用API、支持J MX协议的管理控制台，或者其他符合J MX规范的软件进行访问。
    
    通过JDK/bin目录下的jconsole.exe启动Console后，会自动搜索出本机运行的所有虚拟机进程，而不需要用户自己使用jps来查询，如图所示。双击选择其中一个进程便可进入主界面开始监控。JMX支持跨服务器的管理，也可以使用下面的“远程进程”功能来连接远程服务器，对远程虚拟机进行监控。
    图中可以看到笔者的机器现在运行了Eclipse、Console、MonitoringTest三个本地虚拟机进程，这里Monit-oringTest是笔者准备的“反面教材”代码之一。双击它进入JConsole主界面，可以看到主界面里共包括“概述”“内存”“线程”“类”“VM摘要”“MBean”六个页签，如图所示。
    
    “概述”页签里显示的是整个虚拟机主要运行数据的概览信息，包括“堆内存使用情况”“线程”“类”“CPU使用情况”四项信息的曲线图，这些曲线图是后面“内存”“线程”“类”页签的信息汇总。
    “内存”页签的作用相当于可视化的jstat命令，用于监视被收集器管理的虚拟机内存（被收集器直接管理的J ava堆和被间接管理的方法区）的变化趋势。
    “线程”页签的功能就相当于可视化的jstack命令了，遇到线程停顿的时候可以使用这个页签的功能进行分析。前面讲解jstack命令时提到线程长时间停顿的主要原因有等待外部资源（数据库连接、网络资源、设备资源等）、死循环、锁等待等，

  • VisuaVM：多合-故障处理工具
    VisuaVM（All-in-One Java Troubleshooting Tool）是功能最强大的运行监视和故障处理程序之一，曾经在很长一段时间内是Oracle官方主力发展的虚拟机故障处理工具。Oracle曾在VisualVM的软件说明中写上了“All-in-One”的字样，预示着它除了常规的运行监视、故障处理外，还将提供其他方面的能力，譬如性能分析（Profiling）。VisuaIVM的性能分析功能比起JProfiler、YourKit等专业且收费的Profiling工具都不追多让。而且相比这些第三方工具，VisualVM还有一个很大的优点：不需要被监视的程序基于特殊Agent去运行，因此它的通用性很强，对应用程序实际性能的影响也较小，使得它可以直接应用在生产环境中。这个优点是JProfiler、YourKit等工具无法与之媲美的。