执行引擎
目录
执行引擎:解释器:JIT即时编译器、GC
1. 执行引擎概述
- 执行引擎是Java虚拟机核心的组成部分之一
- “虚拟机”和“物理机”都有代码执行能力,区别在于,物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的,而虚拟机的执行引擎则是有软件自行实现的,因此可以不受物理条件制约的定制指令集与执行引擎的结构体系,能够执行那些不被硬件直接支持的指令集格式。
- JVM的主要任务是负责装载字节码到其内部,但字节码并不能直接运行在操作系统之上,因为字节码指令并非等价于本地机器指令,它内部包含的仅是一些能够被JVM识别的字节码指令、符号表,以及其它辅助信息。
- 因此,要让一个java程序运行起来,执行引擎的任务就是将字节码指令解释/编译为对应平台上的本地机器指令才行。简单来说,JVM中的执行引擎充当了将高级语言翻译成机器语言的译者。
前端编译:.java 文件到.class文件称为“前端编译”
后端编译:执行引擎把字节码指令编译成本地机器指令称为“后端编译”
执行引擎的工作过程
- 执行引擎在执行的过程中究竟需要执行什么样的字节码指令完全依赖于PC寄存器
- 每当执行完一项指令操作后,PC寄存器就会更新下一条需要被执行的指令地址
- 当然方法在执行的过程中,执行引擎有可能会通过存储在局部变量表中的对象引用精确定位到存储在Java堆区中的对象实例信息,以及通过对象头中的元数据指针定位到目标对象的类型信息。
从外观上看,所有java虚拟机的执行引擎输入、输出都是一致的:输入的是字节码二进制流,处理过程是字节码解析执行的等效过程,输出的是执行结果。
2. Java代码编译和执行过程
绿色路径:解释执行
蓝色路径:编译执行
什么是解释器(Interpreter)?什么叫 JIT编译器?
解释器:对字节码采用逐行翻译的方式执行
JIT编译器:将源代码直接翻译成和本地平台相关的机器语言。
3. 机器码、指令、汇编语言
机器码:二进制编码方式表示的指令
指令:把特定的01序列,简化为对应的指令(如mov,inc等),可读性稍好。不同硬件平台的同一指令,对应的机器码也可能不同。
指令集:每个平台所支持的指令。如x86指令集,ARM指令集。
汇编语言:用助记符代替机器指令的操作码,用地址符号或标号代替指令或操作数的地址。汇编语言必须翻译成机器指令码,计算机才能识别和执行。
高级语言:更接近人的语言
字节码:一种中间状态(中间码)的二进制代码,比机器码更抽象,需要直译器转译后 才能变成机器码。与硬件环境无关。
4. 解释器
解释器分类
字节码解释器:通过纯软件代码模拟字节码的执行,效率非常低效。
模板解释器:将每一条字节码和一个模板函数相关联,模板函数中直接产生机器码,提高了解释器的性能。
解释器现状
基于解释器执行已经沦为“低效的代名词”。
即时编译:目的是避免函数被解释执行,而是将整个函数编译成为机器码,每次函数执行时,只执行编译后的机器码即可。执行效率大幅提升。
5. JIT编译器
JIT(just in time) :即时编译技术
Hotspot采用解释器与即时编译器并存的结构。
JRockit VM内部不包含解释器。
为什么保留解释器?
当程序启动后,解释器可以马上发挥作用,省去编译的时间,立即执行。 编译器要想发挥作用,需要一段时间把代码翻译成本地代码。
对服务端应用来讲,启动时间并非是关注重点,但对看中启动时间的应用场景来讲,或许就需要解释器与即时编译器并存的架构来换取一个平衡点。
在此模式下,解释器可以首先发挥作用,而不必等待即时编译器全部编译完成之后再执行,可以省去很多不必要的编译时间。随着时间的推移,编译器发挥作用,把越来越多的代码编译成本地代码,获得更高的执行效率。
同时,解释执行在编译器进行激进优化不成立的时候,作为编译器的“逃生门”。
机器在热机状态可以承受的负载要大于冷机状态。阿里案例(略)
“编译器”概念解释
前端编译器:.java 文件到.class文件称为“前端编译”
Sun的Javac , Eclipse JDT的增量式编译器(ECJ)
后端运行期编译(JIT编译器):把字节码指令编译成机器码。
Hotspot的C1,C2编译器
静态提前编译器(AOT编译器):直接把.java 文件编译成本地机器代码。
GCJ, Excelsior JET
热点代码及探测方式
是否需要启动JIT编译器将字节码直接编译成对应平台的本地机器指令,则需要根据代码被调用执行的频率而定。关于那些需要被编译成本地代码的字节码,也被称为“热点代码”,JIT编译器在运行时会针对那些频繁被调用的“热点代码”做出深度优化,将其直接编译成本地机器指令,以提升java程序的执行性能。
- 一个被多次调用的方法,或者是一个方法体内部循环次数较多的循坏体都可以称为“热点代码”,因此可以通过JIT编译器编译为本地机器指令。由于这种编译方式发生在方法的执行阶段,因此也被称之为栈上替换,或简称为OSR(On Stack Replacement)编译。
- 一个方法究竟要被调用多少次,或者循环体需要执行多少次循环,才能达到这个标准?必然需要一个明确的阈值,这里主要依靠热点探测功能。
- 目前Hotspot VM采用的热点探测方式是集与计数器的热点探测。
- 会为每一个方法都建立2个不同类型的计数器,分别为方法调用计数器(Invocation Counter)和回边计数器(Back Edge Counter)
- 方法调用计数器用于统计方法的调用次数
- 回边计数器用于统计循环体执行的次数
方法调用计数器
- 默认阈值在Client模式下是1500次,在Server模式下是10000次,超过这个阈值,就会触发JIT编译。
- 通过
-XX:CompileThreshold
来设定 - 当一个方法被调用时,会先检查该方法是否存在被JIT编译过的版本,如果存在,就优先使用编译后的本地代码。如果不存在,则将该方法的调用计数器加1,然后判断方法调用计数器和回边计数器之和是否超过阈值。超过,则向JIT编译器提交一个该方法的代码编译请求。
CodeCache在方法区(jdk8后元空间,本地内存)
热度衰减
- 如果不做任何设置,方法调用计数器统计的不是方法被调用的绝对次数,而是一个相对的执行效率,即一段时间内方法被调用的次数。当超过一定的时间限度,如果方法调用次数仍不足以让它被提交给JIT编译,那这个方法的调用计数器就会被减少一半,这个过程称为方法调用计数器热度的衰减,这段时间就称为此方法统计的半衰周期
- 进行热度衰减的动作是在虚拟机进行垃圾收集时顺便进行的,可以用虚拟机参数
-XX:-UseCounterDecay
来关闭热度衰减,这样,只要系统运行时间足够长,绝大部分方法都会被编译成本地代码。 - 可以用虚拟机参数
-XX:-CounterHalfLifeTime
来设置半衰周期,单位是秒。
设置程序执行方式
-Xint
完全采用解释器的模式-Xcomp
完全采用即时编译器的模式-Xmixed
混合模式
Hotspot VM中JIT分类
Hotspot VM中内嵌有两个JIT编译器,分别为Client Compiler和Server Compiler,但大多数情况下,简称为C1编译器和C2编译器。可以通过如下命令显式指定运行时使用哪种:
-client
:C1编译器会对字节码进行简单和可靠的优化,耗时短。更快的编译速度。-server
:C2编译器进行耗时更长的优化,和激进优化。优化的代码执行效率更高。(64位JDK只使用server)
C1和C2编译器不同的优化策略:
- C1编译器主要有方法内联,去虚拟化、冗余消除:
- 方法内联:将引用的函数代码编译到引用点处,可以减少栈帧的生成,减少参数传递和跳转过程。
- 去虚拟化:对唯一的实现类进行内联
- 冗余消除:在运行期间把一些不会运行的代码折叠掉
- C2的优化主要是在全局层面,逃逸分析是优化的基础。基于逃逸分析在C2上有如下优化:
- 标量替换:同标量值代替聚合对象的属性值
- 栈上分配:对于未逃逸的对象分配在栈而不是堆。
- 同步消除:清除同步操作,通常是指synchronized。
- 随记----逃逸分析:代码优化—20200518
- 分层编译策略(Tiered Compilation):程序解释执行(不开启性能监控)可以触发C1编译,将字节码编译成机器码,可以进行简单优化,也可以加上性能监控,C2编译会根据性能监控信息进行激进优化。
- 在Java7版本之后,一旦开发人员在程序中显示指定命令
-server
时,默认将会开启分层编译策略,由C1和C2编译器互相协作共同执行编译任务。
小结
- 一般来讲,JIT编译出来的机器码性能比解释器高。
- C2编译器启动时长比C1慢,系统稳定执行后,C2编译器执行速度远远快于C1。
另外,
- 在JDK10之后,Hotspot又加入了一个全新的即时编译器:Graal编译器。
- 编译效果短短几年就追平了C2编译器,未来可期。
- 带有“实验状态”标签,需要使用
-XX:+UnlockExperimentalVMOptions -XX:+UseJVMCICompiler
去激活,才可以使用。
- 在JDK9引入了AOT编译器:在程序运行之前,便将字节码转换为机器码。
- java9引入了实验性AOT编译工具jaotc。它接住了Graal百年一起,将输入的java类文件转换为机器码,并存放到生成的动态分享库之中。
- AOT编译,与即时编译相对立,同级关系。(.java --> .class --> .so)
- 最大好处:java虚拟机加载已经预编译成二进制库,可以直接执行。不必等待即时编译器的预热,减少java应用给人带来“第一次运行慢”的不良体验。
- 缺点:
- 破坏了java“一次编译,到处运行”,必须为每个不同硬件、OS编译对应的发行包。
- 降低了java连接过程的动态性,加载的代码必须在编译期就全部已知。
- 还需要继续优化中,最初只支持Linux x64 java base。