深入理解jvm --第11章 晚期(运行期)优化

晚期(运行期)优化

 

概述

 

备注：

(1)部分商用虚拟机中，Java程序最初通过解释器进行解释执行，当虚拟机发现某个方法或代码块的运行特别频繁时，就会把这些代码认定为"热点代码"。

(2)为了提高热点代码的执行效率，在运行时，虚拟机将会把这些代码编译成与本地平台相关的机器码，并进行各种层次的优化，完成这个任务的编译器称为即时编译器

(3)java虚拟机规范并没有规定Java虚拟机内必须有即时编译器的存在，更没有限定或指导即时编译器应该如何去实现。

(4)即时编译器性能的好坏，代码优化程度的高低是衡量一款商用虚拟机优秀与否的最关键指标之一

 

HotSpot虚拟机内的即时编译器

解释器与编译器

 

备注：

(1)解释器可以首先发挥作用，省去编译的时间，立即执行

(2)程序运行后，随着时间推移编译器逐渐发挥作用，把越来越多的代码编译成本地代码之后，可以获得更高的执行效率。

(3)当程序运行环境中内存限制较大时，可以使用解释执行节约内存，反之可以使用编译执行提高效率

(4)解释器可以作为编译器激进优化时的一个"逃生门",当激进优化的假设不成立时可以通过逆优化退回到解释状态继续执行。

(5)HotSpot虚拟机中内置了两个编译器，分别称为Client Compiler和Server Compiler或者称为C1编译器和C2编译器

(6)目前主流的HotSpot虚拟机中，默认采用解释器与其中一个编译器直接配合的方式工作，程序使用哪个编译器取决于虚拟机运行的模式，HotSpot虚拟机会根据自身版本与宿主机器的硬件性能自动选择运行模式，用户也可以使用"-client"或"-server"参数区强制指定虚拟机运行在Client或Server模式

(6)解释器与编译器搭配使用的方式称为“混合模式”(Mixed Mode)，用户可以使用参数"-Xint"强制虚拟机运行于"解释模式"(Interpreted Mode),也可以使用参数"-Xcomp"强制虚拟机运行于"编译模式"(Compiled Mode)，解释器仍然要在编译无法进行时介入执行。

(7)为了在程序启动响应速度与运行效率之间达到最佳平衡，HotSpot虚拟机还会逐渐启用分层编译策略。

(8)分层编译根据编译器编译，优化的规模与耗时，划分出不同的编译层次

--第0层，程序解释执行，解释器不开启性能监控功能，可触发第1层编译

--第1层，也称为C1编译，将字节码编译为本地代码，进行简单，可靠的优化，如有必要将加入性能监控的逻辑

--第2层，也称C2编译，也是将字节码编译为本地代码，但是会启用一些编译耗时较长的优化，甚至会根据性能监控信息进行一些不可靠的激进优化。

(9)实施分层编译后，Client Compiler和Server Compiler将会同时工作，许多代码都可能会被多次编译，用Client Compiler获取更高的编译速度，用Server Compiler来获取更好的编译质量

编译对象与触发条件

被多次调用的方法

 

备注：

(1)由方法触发的编译，编译器以整个方法作为编译对象，是虚拟机中标准的JIT编译方式

 

被多次执行的循环体

 

备注：

(1)由循环体触发的编译动作，编译器仍然会以整个方法作为编译对象，这种编译方式因为编译发生在方法执行之中，因此形象地称为栈上替换。

 

热点探测

 

备注：

(1)基于采样的热点探测：虚拟机周期性的检查各个线程的栈顶，如果发现某些方法经常出现在栈顶，那这些方法就是"热点方法"。

(2)基于计数器的热点探测:采用这种方法的虚拟机会为每个方法建立计数器，统计方法的执行次数，如果执行次数超过一定的阈值就认为它是"热点方法"

(3)HotSpot虚拟机中采用的是第二种--基于计数器的热点探测方法，它为每个方法准备了两类计数器：方法调用计数器和回边计数器，这两个计数器都有一个确定的阈值，当计数器超过阈值溢出了，就会触发JIT编译

 

 

方法调用计数器

 

备注：

(1)这个计数器用于统计方法被调用的次数

(2)阈值可以通过-XX:CompilerThreshold来人为设定

(3)当一个方法被调用时，会先检查该方法是否存在被JIT编译过的版本，如果存在，则优先使用编译后的本地代码来执行

(4)如果不存在已被编译过的版本，则将此方法的调用计数器值加1，然后判断方法调用计数器与回边计数器值之和是否超过方法调用计数器的阈值

(5)如果超过阈值，将向即时编译器提交一个该方法的代码编译请求。

(6)执行引擎并不会同步等待编译请求完成，而是继续进入解释器按照解释方式执行字节码，直到提交的请求被编译器编译完成

(7)编译工作完成之后，这个方法的调用入口地址就会被系统自动改成新的，下一次该方法调用就会使用以编译过的版本。

(8)方法调用计数器统计的并不是方法被调用的绝对次数，而是一个相对的执行频率，即一段时间之内方法被调用的次数。

(9)当超过一定的时间限度，如果方法的调用次数仍然不足以让它提交给即时编译器，那这个方法的调用计数器值就会减少一半，这个过程称为方法调用计数器热度的衰减，而这段时间就称为此方法统计的半衰周期

(10)可以使用虚拟机参数-XX: -UseCounterDecay来关闭衰减，让方法计数器统计方法调用的绝对次数,这样只要系统运行时间足够长，绝大部分方法都会被编译成本地代码。

(11)还可以使用-XX: CounterHalfLifeTime参数设置半衰周期的时间，单位是秒

回边计数器

 

备注：

(1)HotSpot虚拟机也提供了-XX: BackEdgeThreshold设置回边计数器的阈值，但当前虚拟机实际上并未使用此参数，可以通过设置另外一个参数-XX: OnStackReplacePercentage来间接调整回边计数器的阈值

(2)当解释器遇到一条回边指令时，会先查找将要执行的代码片段是否有已编译好的版本，如果有将会优先执行已编译的代码

(3)否则就把回边计数器的值加一，然后判断方法调用计数器与回边计数器值之和是否超过回边计数器的阈值。

(4)当超过阈值的时候会提交一个OSR请求，并把回边计数器的值降低一点，以便继续在解释器中执行循环，等待编译器输出编译结果。

(5)回边计数器没有计数衰减的过程，因此这个计数器统计的就是该方法循环执行的绝对次数。

(6)当该计数器溢出时，它还会把方法计数器的值也调整到溢出的状态，这样下次再进入该方法时就会执行标准编译过程。

编译过程

 

备注：

(1)默认设置下，无论是方法调用产生的即时编译请求，还是OSR编译请求，虚拟机在代码还未完成之前，都仍然按照解释方式继续执行，而编译动作则在后台的编译线程中进行。

(2)用户可以通过参数-XX: -BackgroundCompilation来禁止后台编译，禁止后台编译后，一旦达到JIT的编译条件，执行线程向虚拟机提交编译请求后将会一直等待，直到编译过程完成后再开始执行编译器输出的本地代码。

(3)对于Client Compiler来说，它是一个简单快速的三段式编译器，主要的关注点在于局部性的优化，而放弃了许多耗时较长的全局优化手段：

--第一个阶段，一个平台独立的前端将字节码构造成一种高级中间代码表示(HIR),一部分基础优化如：方法内联，常量传播等优化将会再字节码被构造成HIR之前完成。

--第二个阶段，一个平台相关的后端从HIR中产生低级中间代码表示(LIR)，而在此之前会在HIR上完成另一种优化，如空值检查消除，范围检查消除，以便让HIR达到更高效的代码表示形式。

--最后阶段是在平台相关的后端使用线性扫描算法在LIR上分配寄存器，并在LIR上做窥孔优化，然后产生机器代码。

(4)Server Compiler专门面向服务端，并为服务端的性能配置特别调整过的编译器，也是一个充分优化过的高级编译器，它会执行所有经典的优化动作，如无用代码消除，循环展开，循环表达式外提，消除公共子表达式，常量椽笔，基本块重排序等，还会实施一些与Java语言特性密切相关的优化技术，如范围检查，空值检查消除等。还可能根据解释器或Client Compiler提供的性能监控信息，进行一些不稳定的激进优化，如守护内联，分支频率预测等。

查看及分析即时编译结果

编译优化技术

优化技术概览

编译器策略

 

备注：

(1)延迟编译

(2)分层编译

(3)栈上替换

(4)延迟优化

(5)程序依赖图表示

(6)静态单赋值表示

基于性能监控的优化技术

 

备注：

(1)乐观空值判断

(2)乐观类型断言

(3)乐观类型增强

(4)乐观数组长度增强

(5)裁剪未被选择的分支

(6)乐观的多态内联

(7)分支频率预测

(8)调用频率预测

基于证据的优化技术

 

备注：

(1)精确类型推断

(2)内存值推断

(3)内存值跟踪

(4)常量折叠

(5)重组

(6)操作符退化

(7)空值检查消除

(8)类型检测退化

(9)类型检测消除

(10)代数化简

(11)公共子表达式消除

数据流敏感重写

 

备注：

(1)条件常量传播

(2)基于流承载的类型缩减转换

(3)无用代码消除

语言相关的优化技术

 

备注：

(1)类型继承关系分析

(2)去虚拟机化

(3)符号常量传播

(4)自动装箱消除

(5)逃逸分析

(6)锁消除

(7)锁膨胀

(8)消除反射

内存及代码位置变换

 

备注：

(1)表达式提升

(2)表达式下沉

(3)冗余存储消除

(4)相邻存储合并

(5)交汇点分离

循环变换

 

备注：

(1)循环展开

(2)循环剥离

(3)安全点消除

(4)迭代范围分离

(5)范围检查消除

(6)循环向量化

全局代码调整

 

备注：

(1)内联

(2)全局代码外提

(3)基于热度的代码布局

(4)Switch调整

控制流图变换

 

备注：

(1)本地代码编排

(2)本地代码封包

(3)延迟槽填充

(4)着色图寄存器分配

(5)线性扫描寄存器分配

(6)复写聚合

(7)常量分裂

(8)复写移除

(9)地址模式匹配

(10)指令窥孔优化

(11)基于确定有限状态机的代码生成

公共子表达式消除

 

备注：

(1)含义：如果一个表达式E已经计算过了，并且从先前的计算到现在E中所有变量的值都没有变化过，那E的这次出现就成了公共子表达式。

(2)对于这种表达式没有必要再花时间计算直接用前面的结果替换

(3)如果这种优化仅限于程序的基本块内，便称为局部公共子表达式消除，如果这种优化的范围涵盖了多个基本块，那就称为全局公共子表达式消除。

数组边界检查消除

 

备注：

(1)要保证不会产生数组溢出，每次数组元素的读写都带有一次隐含的条件判定操作，对拥有大量数组访问的代码是一种性能负担

(2)如果编译器只要通过数据流分析就可以判断循环变量永远不会溢出，那就可以消除数组的上下界检查

(3)隐式异常处理在出现异常时才处理

方法内联

 

备注：

(1)方法内联能消除方法调用的成本

(2)方法内联能为其他优化手段建立良好的基础

(3)java默认的方法就是虚方法，但是虚方法有时需要在运行时才能确定调用的版本

(4)为了解决虚方法的内联，可以使用"类型继承关系分析"(CHA)技术，遇到虚方法会向CHA查询此方法在当前程序下是否有多个目标版本可供选择，如果只有一个版本则可以内联，这种内联属于激进优化，需要预留一个"逃生门"，称为守护内联

(5)如果已经将虚方法内联，但是又加载了导致继承关系发生变化的新类，那就需要抛弃已经编译的目标当打，退回到解释状态执行，或者重新进行编译

(6)如果CHA查询出来的结果有多个版本，则编译器还可以使用内联缓存来完成方法内联(者是一个建立在目标方法正常入口之前的缓存，在未发生方法调用之前，内联缓存为空，当第一次调用发生之后，缓存记录下方法接收者的版本信息，每次调用都比较接收者版本，如果版本一致可以继续存在，否则取消内联，查找虚方法表进行方法分派)

逃逸分析

 

备注：

(1)逃逸分析并不是直接优化代码的手段，而是为其他代码优化手段提供依据的分析技术

(2)逃逸分析的基本行为就是分析对象动态作用域：当一个对象在方法中被定义后，它可能被外部方法所引用，称为方法逃逸；甚至还有可能被外部线程访问到，称为线程逃逸。

(3)如果能证明一个对象不会逃逸到方法或线程之外，则可以为这个变量进行一些高效的优化:

--栈上分配

--同步块消除

--标量替换

Java与C/C++编译器的对比

 

备注：

(1)Java与C/C++的编译器对比代表了最经典的即时编译器与静态编译器的对比

(2)Java虚拟机的即时编译器相较于C/C++静态编译器的性能劣势：

--第一，即时编译器运行占用的是用户程序的运行时间

--第二，Java语言是动态的类型安全语言，这就意味着要由虚拟机来确保程序不会违反语言语义或访问非结构化内存

--第三，Java语言中虽然没有virtual关键字，但是使用虚方法的频率却大于C/C++，这意味运行时对方法接收者进行多态选择的频率要大于C/C++语言，也意味着即时编译器在进行一些优化时的难度要大于C/C++的静态优化编译器

--第四，Java语言是可以动态扩展的语言，编译器不得不时刻注意并着类型的变化而在运行时撤销或重新进行一些优化

--第五，Java语言中对象的内存分配都是在堆上进行的，只有方法中的局部变量才能在栈上分配。而C/C++的对象则有多种内存分配方式，既能在堆上分配，又能在栈上分配

(3)优势：

--开发效率得到提高

--在C/C++中别名分析的难度远高于java

--C/C++编译器所有优化都在编译器完成，一运行期性能监控为基础的优化措施它都无法进行