第七章 虚拟机类加载机制
7.1 概述
虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型,这就是虚拟机的加载机制。
Java的天生可以动态加载的语言特性就是依赖运行期间 动态加载和动态连接这个特点来实现的。
7.2 类加载的时机
类从被加载到虚拟机内存开始,到卸载出内存为止,它的整个生命周期包含:加载、验证、准备、解析、初始化、使用和卸载7个阶段。其中验证、准备、解析3个部分统称为连接。
加载、验证、准备、初始化和卸载这5个阶段的顺序是确定的,类的加载过程必须按照这种顺序按部就班地开始(开始而不是完成,这些阶段是互相交叉着进行的,在一个阶段执行过程中就会激活另一个阶段),而解析阶段则不一定:它在某些情况下可以在初始化阶段之后再开始,这是为了支持Java的运行时绑定。
对于类加载过程的第一个阶段:加载,jvm规范中并没有进行强制约束其开始时机,可交由jvm的具体实现来自由把握。但是对于初始化阶段,jvm规范严格规定了有且只有下列5种情况必须对类进行“初始化”:
- 遇到
new
、getstatic
、putstatic
、invokestatic
这四条字节码指令时,如果类没有进行过初始化,则必须先触发其初始化。最常见的生成这4条指令的场景是:使用new
关键字实例化对象的时候;读取或设置一个类的静态字段(被final
修饰、已在编译期把结果放入常量池的静态字段除外)的时候;以及调用一个类的静态方法的时候。 - 使用
java.lang.reflect
包的方法对类进行反射调用的时候,如果类没有进行初始化,则需要先触发其初始化。 - 当初始化一个类的时候,如果发现其父类还没有进行过初始化,则需要先触发其父类的初始化。
- 当虚拟机启动时,用户需要制定一个要执行的主类(包含main方法的那个类),虚拟机会先初始化这个主类;
- 当使用jdk1.7 的动态语言支持时,如果一个
java.lang.invoke.MethodHandle
实例最后的解析结果REF_getStatic
,REF_putStatic
,REF_invokeStatic
的方法句柄,并且这个方法句柄所对应的类没有进行过初始化,则需要先触发其初始化;
以上5种场景中的行为称为对一个类进行主动引用。除此之外,所有引用类的方式都不会触发初始化,称为被动引用。被动引用的常见例子包括:
- 通过子类引用父类的静态字段,不会导致父类初始化。
- 通过数组定义来引用类,不会触发此类的初始化,如SuperClass[] sca = new SuperClass[10];。
- 常量在编译阶段会存入调用类的常量池中,本质上并没有直接引用到定义常量的类,因此不会触发定义常量的类的初始化。
7.3 类加载过程
7.3.1 加载
加载是类加载(Class Loading)过程的一个阶段,两者不要混淆。虚拟机规范规定了在在加载阶段,jvm需要完成以下三件事情:
- 通过一个类的全限定名来获取定义此类的二进制字节流。
- 将这个字节流所代表的静态存储结构转化为方法区的运行时存储结构。
- 在内存中生成一个代表这个类的
java.lang.Class
对象,作为方法区这个类的各种数据的访问入口。
这三点要求不算具体,在jvm实现时灵活度很大。例如上面的第一条,它没有指明二进制字节流要从一个Class文件中获取,准确地说没有指明要从哪里获取、怎样获取。这也为许多Java技术提供了基础,例如:
- 从ZIP包读取,这很常见,最终成为日后JAR、EAR、WAR格式的基础。
- 从网络中获取,这种场景最典型的应用是Applet。
- 运行时计算生成,这种场景使用得最多得就是动态代理技术,在
java.lang.reflect.Proxy
中,就是用了ProxyGenerator.generateProxyClass
的代理类的二进制字节流。 - 由其他文件生成,典型场景是JSP应用,即由JSP文件生成对应的Class类。
- 从数据库读取,这种场景相对少见,例如有些中间件服务器(如SAP Netweaver)可以选择把程序安装到数据库中来完成程序代码在集群间的分发。
非数组类的加载
相对于类加载过程的其他阶段,一个非数组类的加载阶段(准确地说,是加载阶段中获取类的二进制字节流的动作)是开发人员可控性最强的,因为加载阶段既可以使用系统提供的引导类加载器完成,也可以由用户自定义的类加载器完成,通过自定义类加载器去控制字节流的获取方式,即重写一个类加载器的loadClass()方法。
数组类的加载
数组类本身不通过类加载器创建,它是由jvm直接创建的。但数组类的元素类型(Element Type,指的是数组去掉所有维度的类型)最终是要靠类加载器去创建,一个数据类C的创建过程遵循以下规则:
- 如果数组的组件类型(ComponentType,指的是数组去掉一个维度的类型)是引用类型,就递归采用本节中定义的加载过程去加载此组件类型,数组类将在加载该组件类型的类加载器的类名称空间上被标识。
- 如果数组的组件类型不是引用类型(例如int[]数组),Java虚拟机将会把数组类标记为与引导类加载器关联。
- 数组类的可见性与它的组件类型的可见性一致,如果组件类型不是引用类型,那数组类的可见性将默认为public。
加载阶段完成后,虚拟机外部的二进制字节流就按照虚拟机所需的格式存储在方法区之中,方法区的数据存储格式由虚拟机实现自行定义,虚拟机规范未规定此区域的具体数据结构。然后在内存中实例化一个java.lang.Class类的对象(并无明确规定是在Java 堆中,对于HotSpot虚拟机而言,Class对象比较特殊,它虽是对象,但存放在方法区里),这个对象将作为程序访问方法区中的这些类型数据的外部接口。
7.3.2 验证
验证是连接阶段的第一步,这一阶段的目的是确保输入的Class文件的字节流能正确地解析并存储于方法区之内,格式上符合描述一个Java类型信息的要求,并且不会危害虚拟机自身的安全。验证阶段是否严谨,直接决定了Java虚拟机是否能承受恶意代码的攻击。 从整体上看,验证阶段大致上会完成下面四个阶段的检验动作:文件格式验证、元数据验证、字节码验证、符号引用验证。
- 文件格式验证
第一阶段要验证字节流是否符合Class文件格式的规范,并且能被当前版本的虚拟机处理。这一阶段可能包括下面这些验证点:
1.是否以魔数0xCAFEBABE开头。
2.主次版本号是否在当前虚拟机的处理范围之内
3.常量池的常量中是否有不被支持的常量类型(tag标志)。
4.指向常量的各种索引值中是否有指向不存在的常量或不符合类型的常量。
5.Class文件中各个部分及文件本身是否有被删除的或附加的其他信息。 ……
这阶段的验证是基于二进制字节流进行的,只有通过了这个阶段的验证后,字节流才会进入方法区中进行存储,所以后面的3个验证阶段全部是基于方法区的存储结构进行的,不会再直接操作字节流。
- 元数据验证
第二阶段是对字节码描述的信息(即类的元数据信息)进行语义分析,以保证其描述的信息符合Java语言规范的要求。例如下面这些验证点:
1.该类是否有父类(除了java.lang.Object之外,所有的类都应有父类)
2.该类的父类是否继承了不允许被继承的类(final修饰的类)
3.若此类不是抽象类,是否实现了其父类或接口之中要求实现的所有方法 ……
该阶段的主要目的是对类的元数据信息进行语义检验,保证不存在不符合Java语言规范的元数据信息。
-
字节码验证
第三阶段的主要目的是进行数据流和控制流分析,确定程序语义是合法的、符合逻辑的。在第二阶段对元数据信息中的数据类型做完校验之后,这个阶段将对类的方法体进行校验分析,以保证被校验类的方法在运行时不会做出危害虚拟机安全的行为。例如:
1.保证任意时刻操作数栈的数据类型与指令代码序列都能配合工作。
2.保证跳转指令不会跳转到方法体以外的字节码指令上。
3.保证方法体中类型转换是有效的,例如子类对象可以赋值给父类数据类型,但父类对象赋值给子类数据类型是危险和不合法的。 …… -
符号引用验证
最后一个阶段的校验发生在虚拟机将符号引用转化为直接引用的时候,这个转化动作将在连接的第三阶段——解析阶段中发生。符号引用验证可以看做是对类自身以外(常量池中的各种符号引用)的信息进行匹配性校验,通常需要校验下列内容:
1.符号引用中通过字符串描述的全限定名是否能找到对应的类。
2.指定的类中是否存在符合描述符与简单名称描述的方法与字段。
3.符号引用中的类、字段、方法的访问性(private、protected、public、default)是否可被当前类访问。 ……
符号引用的目的是确保解析动作能正常执行。
对于jvm的类加载机制来说,验证阶段是一个非常重要但不是一定必要(因为对运行期没有影响)的阶段。如果所运行的全部代码都已经被反复验证过,那么在实施阶段就可以考虑使用-Xverify:none
参数来关闭大部分的类验证措施,以缩短虚拟机类加载的时间。
7.3.3 准备
准备阶段的主要任务是如下两点:
- 为类变量分配内存
- 设置类变量初始值
- 这些变量所使用的内存都将在方法区中分配。
首先,在准备阶段进行内存分配的仅包括类变量(被static修饰的变量),而不包括实例变量,实例变量将会在对象实例化时随着对象一起分配在Java堆中。
其次,这里所说的初始值“通常情况”下是数据类型的零值,假设一个类变量的定义为:
public static int value = 123;
那变量value在准备阶段过后的初始值为0而不是123,因为这时候尚未开始执行任何Java方法,而把value赋值为123的putstatic指令是程序被编译后,存放于类构造器()方法之中,所以把value赋值为123的动作在初始化阶段才会执行。 值得注意的是,如果类字段的字段属性中存在ConstantValue属性,那在准备阶段变量value就会被初始化为ConstantValue属性所指定的值,假设上面类变量value的定义变为:
public static final int value = 123;
编译时Javac将会为value生成ConstantValue属性,在准备阶段虚拟机就会根据ConstantValue的设置将value赋值为123。
7.3.4 解析
解析阶段是虚拟机将常量池内的符号引用替换为直接引用的过程。符号引用和直接引用的关联如下:
- 符号引用(Symbol References): 符号引用以一组符号来描述所引用的目标,符号可以是任何形式的字面量,只要使用时能无歧义地定位到目标即可。符号引用与虚拟机实现的内存布局无关,引用的目标并不一定已经加载到内存中。各种虚拟机实现的内存布局可以各不相同,但是它们能接受的符号引用必须一致,因为符号引用的字面量形式明确定义在Java虚拟机规范的Class文件格式中。
- 直接引用(Direct References): 直接引用可以是直接目标的指针、相对偏移量或是一个能间接定位到目标的句柄。直接引用是和虚拟机实现的内存布局有关的,同一个符号引用在不同虚拟机实例上翻译出来的直接引用一般不会相同。如果有了直接引用,那么引用的目标必定已经在内存中存在。
虚拟机规范并未规定解析动作发生的具体时间,仅要求在执行anewarray、checkcast、getfield、getstatic、instanceof、invokeinterface、invokespecial、invokestatic、invokevirtual、multianewarray、new、putfield和putstatic这13个用于操作符号引用的字节码指令之前,先对它们所使用的符号引用进行解析。所以虚拟机实现可以根据需要来判断到底是在类被加载器加载时就对常量池中的符号进行解析,还是等到一个符号引用将要被使用前才去解析它。
对同一个符号引用进行多次解析请求是很常见的,除 invokedynamic 指令外( invokedynamic指令是用于动态语言支持的,它所对应的引用称为“动态调用点限定符”,必须等到程序实际运行到这条指令的时候,解析动作才能进行)虚拟机实现可能会对第一次解析的结果进行缓存(将直接引用保存在运行时常量池中),无论是否真正执行了多次解析动作,虚拟机实现必须保证在同一个实体中,如果一个符号引用之前已经被成功解析过,后续的引用解析请求就应当一直成功,反之亦然。
解析动作主要针对以下7类符号引用
- 类或接口
- 字段
- 类方法(静态方法)
- 接口方法
- 方法类型
- 方法句柄
- 调用点限定符
7.3.5 初始化
类初始化阶段是“类加载过程”中最后一步,在之前的阶段,除了在加载阶段用户应用程序可以通过自定义类加载器参与之外,其它动作完全由虚拟机主导和控制,直到初始化阶段,才真正开始执行类中定义的Java程序代码(或者说是字节码)。
在准备阶段,变量已经赋过一次系统要求的初始值,而在初始化阶段,根据程序员通过程序制定的主观计划去初始化类变量和其它资源,简单说,初始化阶段即虚拟机执行类构造器<clinit>()
方法的过程。
下面来详细讲解<clinit>()
方法是怎么生成的,首先来了解此方法执行过程中可能会影响到程序运行行为的特点和细节:
<clinit>()
方法是由编译器自动收集类中所有类变量的赋值动作和静态语句块(static{} 块)中的语句合并产生的,编译器收集的顺序由语句在源文件中出现的顺序决定,特别注意的是,静态语句块只能访问到定义在它之前的类变量,定义在它之后的类变量只能赋值,不能访问。例如以下代码:
public class Test {
static {
i = 0; // 给变量复制可以正常编译通过
System.out.print(i); // 这句编译器会提示“非法向前引用”
}
static int i = 1;
}
<clinit>()
方法与类的构造函数(或者说实例构造器<init>()
方法)不同,不需要显式的调用父类的<clinit>()
方法。虚拟机会自动保证在子类的<clinit>()
方法运行之前,父类的<clinit>()
方法已经执行结束。因此虚拟机中第一个执行<clinit>()
方法的类肯定为java.lang.Object。- 由于父类的
<clinit>()
方法先执行,也就意味着父类中定义的静态语句块要优于子类的变量赋值操作。例如以下代码:
static class Parent {
public static int A = 1;
static {
A = 2;
}
}
static class Sub extends Parent {
public static int B = A;
}
public static void main(String[] args) {
System.out.println(Sub.B);//输出结果是父类中的静态变量值A,也就是2
}
<clinit>()
方法对于类或接口不是必须的,如果一个类中不包含静态语句块,也没有对类变量的赋值操作,编译器可以不为该类生成<clinit>()
方法。- 接口中不可以使用静态语句块,但仍然有类变量初始化的赋值操作,因此接口与类一样都会生成
<clinit>()
方法。但接口与类不同的是,执行接口的<clinit>()
方法不需要先执行父接口的<clinit>()
方法。只有当父接口中定义的变量使用时,父接口才会初始化。另外,接口的实现类在初始化时也一样不会执行接口的<clinit>()
方法。 - 虚拟机会保证一个类的
<clinit>()
方法在多线程环境下被正确的加锁和同步,如果多个线程同时初始化一个类,只会有一个线程执行这个类的<clinit>()
方法,其它线程都会阻塞等待,直到活动线程执行<clinit>()
方法完毕。如果在一个类的<clinit>()
方法中有耗时的操作,就可能造成多个进程阻塞,在实际过程中此种阻塞很隐蔽。
7.4 类与加载器
虚拟机设计团队把类加载阶段中的“通过一个类的全限定名来获取描述此类的二进制字节流(即字节码)”这个动作放到Java虚拟机外部去实现,以便让应用程序自己决定如何去获取所需要的类。实现这个动作的代码模块称为“类加载器”。
一般来说,Java 虚拟机使用 Java 类的方式如下:
- Java 源程序(.java 文件)在经过 Java 编译器编译之后就被转换成字节码(.class 文件)。
- 类加载器负责读取 Java 字节代码,并转换成
java.lang.Class
类的一个实例。每个这样的实例用来表示一个 Java 类。通过此实例的newInstance()
方法就可以创建出该类的一个对象。
实际的情况可能更加复杂,比如 Java 字节代码可能是通过工具动态生成的,也可能是通过网络下载的。
7.4.1 类与类加载器
类加载器虽然只用于实现类的加载动作,但它在Java程序起到的作用却远大于类加载阶段。对于任意一个类,都需要由加载它的类加载器和这个类本身一同确立其在Java虚拟机中的唯一性,每一个类加载器,都拥有一个独立的类名称空间。通俗而言:比较两个类是否“相等”(这里所指的“相等”,包括类的Class对象的equals()方法、isAssignableFrom()方法、isInstance()方法的返回结果,也包括使用instanceof()关键字对做对象所属关系判定等情况),只有在这两个类时由同一个类加载器加载的前提下才有意义,否则,即使这两个类来源于同一个Class文件,被同一个虚拟机加载,只要加载它们的类加载器不同,那这两个类就必定不相等。
7.4.2 双亲委派模型
从jvm的角度来讲,只存在以下两种不同的类加载器:
- 启动类加载器(Bootstrap ClassLoader),这个类加载器用C++实现,是虚拟机自身的一部分;
- 所有其他类的加载器,这些类由Java实现,独立于虚拟机外部,并且全都继承自抽象类java.lang.ClassLoader。
从Java开发人员的角度看,类加载器可以划分得更细致一些:
- 启动类加载器(Bootstrap ClassLoader) 此类加载器负责将存放在
<JAVA_HOME>\lib
目录中的,或者被 -Xbootclasspath 参数所指定的路径中的,并且是虚拟机识别的(仅按照文件名识别,如 rt.jar,名字不符合的类库即使放在lib 目录中也不会被加载)类库加载到虚拟机内存中。 启动类加载器无法被 Java 程序直接引用,用户在编写自定义类加载器时,如果需要把加载请求委派给引导类加载器,直接使用null代替即可。 - 扩展类加载器(Extension ClassLoader) 这个类加载器是由ExtClassLoader(sun.misc.Launcher$ExtClassLoader)实现的。它负责将
<Java_Home>/lib/ext
或者被 java.ext.dir系统变量所指定路径中的所有类库加载到内存中,开发者可以直接使用扩展类加载器。 - 应用程序类加载器(Application ClassLoader) 这个类加载器是由 AppClassLoader(sun.misc.Launcher$AppClassLoader)实现的。由于这个类加载器是ClassLoader中的getSystemClassLoader()方法的返回值,因此一般称为系统类加载器。它负责加载用户类路径(ClassPath)上所指定的类库,开发者可以直接使用这个类加载器,如果应用程序中没有自定义过自己的类加载器,一般情况下这个就是程序中默认的类加载器。
由开发人员开发的应用程序都是由这三种类加载器相互配合进行加载的,如果有必要,还可以加入自己定义的类加载器。这些类加载器的关系一般如下图所示:
上图展示的类加载器之间的层次关系,称为类加载器的双亲委派模型(Parents Delegation Model)。该模型要求除了顶层的启动类加载器外,其余的类加载器都应有自己的父类加载器,这里类加载器之间的父子关系一般通过组合(Composition)关系来实现,而不是通过继承(Inheritance)的关系实现。
工作过程
如果一个类加载器收到了类加载的请求,它首先不会自己去尝试加载,而是把这个请求委派给父类加载器,每一个层次的加载器都是如此,只有当父加载器反馈自己无法完成此加载请求(它搜索范围中没有找到所需类)时,子加载器才会尝试自己加载。
优点
使用双亲委派模型来组织类加载器之间的关系,使得Java类随着它的类加载器一起具备了一种带有优先级的层次关系。
例如类java.lang.Object,它存放再rt.jar中,无论哪个类加载器要加载这个类,最终都是委派给处于模型最顶端的启动类加载器进行加载,因此Object类在程序的各种类加载器环境中都是同一个类。
相反,如果没有双亲委派模型,由各个类加载器自行加载的话,如果用户编写了一个称为`java.lang.Object的类,并放在程序的ClassPath中,那系统中将会出现多个不同的Object类,程序将变得一片混乱。如果开发者尝试编写一个与rt.jar类库中已有类重名的Java类,将会发现可以正常编译,但是永远无法被加载运行。
7.4.3 破坏双亲委派模型
线程上下文类加载器
双亲委派模型并不能解决 Java 应用开发中会遇到的类加载器的全部问题。Java 提供了很多服务提供者接口(Service Provider Interface,SPI),允许第三方为这些接口提供实现。常见的 SPI 有 JDBC、JCE、JNDI、JAXP 和 JBI 等。这些 SPI 的接口由 Java 核心库来提供,如 JAXP 的 SPI 接口定义包含在 javax.xml.parsers包中。这些 SPI 的实现代码很可能是作为 Java 应用所依赖的 jar 包被包含进来,可以通过类路径(ClassPath)来找到,如实现了 JAXP SPI 的 Apache Xerces所包含的 jar 包。SPI 接口中的代码经常需要加载具体的实现类。如 JAXP 中的 javax.xml.parsers.DocumentBuilderFactory类中的 newInstance() 方法用来生成一个新的 DocumentBuilderFactory 的实例。这里的实例的真正的类是继承自 javax.xml.parsers.DocumentBuilderFactory,由 SPI 的实现所提供的。如在 Apache Xerces 中,实现的类是 org.apache.xerces.jaxp.DocumentBuilderFactoryImpl。而问题在于,SPI 的接口是Java 核心库的一部分,是由引导类加载器加载的,而SPI 实现的 Java 类一般是由系统类加载器加载的。引导类加载器是无法找到 SPI 的实现类的,因为它只加载 Java 的核心库。它也不能委派给系统类加载器,因为它是系统类加载器的祖先类加载器。也就是说,类加载器的双亲委派模型无法解决这个问题。
为了解决这个问题,Java设计团队只好引入了一个不太优雅的设计:线程上下文类加载器(Thread Context ClassLoader)。线程上下文类加载器是从 JDK 1.2 开始引入的。类 java.lang.Thread中的方法 getContextClassLoader()和 setContextClassLoader(ClassLoader cl)用来获取和设置线程的上下文类加载器。如果没有通过 setContextClassLoader(ClassLoader cl)方法进行设置的话,线程将继承其父线程的上下文类加载器。Java 应用运行的初始线程的上下文类加载器是应用程序类加载器。在线程中运行的代码可以通过此类加载器来加载类和资源。
有了线程上下文类加载器,就可以做一些“舞弊”的事情了,JNDI服务使用这个线程上下文类加载器去加载所需要的SPI代码,也就是父类加载器请求子类加载器去完成类加载器的动作,这种行为实际上就是打通了双亲委派模型的层次结构来逆向使用类加载器,已经违背了双亲委派模型的一般性原则。
追求程序动态性
这里所说的“动态性”指的是当前一些非常热门的名词:代码热替换(HotSwap)、模块热部署(Hot Deployment)等。即希望应用程序能像计算机的外设一样,接上鼠标、键盘,不用重启就能立即使用,鼠标出了问题或需要升级就换个鼠标,不用停机或重启。
当前业界“事实上”的Java模块化标准是OSGi,而OSGi实现代码热部署的关键则是它自定义的类机载器的实现。关于OSGi的细节将在稍后的案例分析中详细讲解。
自定义类加载器
- 采用双亲委派模型:继承ClassLoader类,只需重写其的findClass(String name)方法,而不需重写loadClass(String name)方法。
- 破坏双亲委派模型:继承ClassLoader类,需要整个重写实现了双亲委派模型逻辑的loadClass(String name)方法。