写在前面:我是「云祁」,一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句
[ 云之祁祁,或雨于渊 ]
,甚是喜欢。
写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发
感兴趣,可以关注我的动态 https://blog.csdn.net/BeiisBei ,让我们一起挖掘数据的价值~
每天都要进步一点点,生命不是要超越别人,而是要超越自己! (ง •_•)ง
一、内存结构概述
如果自己想手写一个Java虚拟机的话,主要考虑哪些结构呢?
- 类加载器
- 执行引擎
复杂版的详细图
本文针对Class Loader SubSystem这一块展开讲解类加载子系统的工作流程。
二、类加载器和类的加载过程
2.1 类加载子系统作用
-
类加载子系统负责从文件系统或者网络中加载class文件,class文件在文件开头有特定的文件标识即16进制CA FE BA BE;
-
加载后的Class类信息存放于一块成为 方法区 的内存空间。除了类信息之外,方法区还会存放运行时常量池信息,可能还包括字符串字面量和数字常量(这部分常量信息是Class文件中常量池部分的内存映射)
-
ClassLoader只负责class文件的加载,至于它是否可以运行,则由Execution Engine决定
-
如果调用构造器实例化对象,则其实例存放在堆区
2.2 类加载器ClassLoader角色
- class file 存在于本地硬盘上,可以理解为设计师画在纸上的模板,而最终这个模板在执行的时候要加载到JVM当中来根据这个文件实例化出n个一模一样的实例。
- class file 加载到JVM中,被称为DNA元数据模板,放在方法区。
- 在.class文件 —> JVM —> 最终成为元数据模板,此过程就要一个运输工具(类装载器 Class Loader),扮演一个快递员的角色。
2.3 类的加载过程
- 看代码
public class HelloLoader {
public static void main(String[] args) {
System.out.println("谢谢ClassLoader加载我....");
System.out.println("你的大恩大德,我下辈子再报!");
}
}
它的加载过程是怎么样的呢?
- 执行 main() 方法(静态方法)就需要先加载承载类 HelloLoader
- 加载成功,则进行链接、初始化等操作,完成后调用 HelloLoader 类中的静态方法 main
- 加载失败则抛出异常
- 完整的流程图如下所示:加载 --> 链接(验证 --> 准备 --> 解析) --> 初始化
2.3.1 加载
-
通过一个类的全限定名获取定义此类的二进制字节流;
-
将这个字节流所代表的的静态存储结构转化为方法区的运行时数据;
-
在内存中生成一个代表这个类的java.lang.Class对象,作为方法区这个类的各种数据的访问入口
加载class文件的方式
- 从本地系统中直接加载
- 通过网络获取,典型场景:Web Applet
- 从zip压缩包中读取,成为日后jar、war格式的基础
- 运行时计算生成,使用最多的是:动态代理技术
- 由其他文件生成,典型场景:JSP应用从专有数据库中提取.class文件,比较少见
- 从加密文件中获取,典型的防Class文件被反编译的保护措施
2.3.2 链接(即验证、准备、解析)
验证
-
目的在于确保Class文件的字节流中包含信息符合当前虚拟机要求,保证被加载类的正确性,不会危害虚拟机自身安全。
-
主要包括四种验证,文件格式验证,元数据验证,字节码验证,符号引用验证。
准备
-
为类变量分配内存并且设置该类变量的默认初始值,即零值;
-
这里不包含用final修饰的static,因为final在编译的时候就会分配了,准备阶段会显式初始化;
-
之类不会为实例变量分配初始化,类变量会分配在方法去中,而实例变量是会随着对象一起分配到java堆中。
解析
-
将常量池内的符号引用转换为直接引用的过程。
-
事实上,解析操作网晚会伴随着jvm在执行完初始化之后再执行
-
符号引用就是一组符号来描述所引用的目标。符号应用的字面量形式明确定义在《java虚拟机规范》的class文件格式中。直接引用就是直接指向目标的指针、相对偏移量或一个间接定位到目标的句柄
-
解析动作主要针对类或接口、字段、类方法、接口方法、方法类型等。对应常量池中的CONSTANT_Class_info/CONSTANT_Fieldref_info、CONSTANT_Methodref_info等。
2.3.3 初始化
-
clinit()即“class or interface initialization method”,注意他并不是指构造器init(),初始化阶段就是执行类构造器方法
<clinit>()
的过程 -
此方法不需要定义,是javac编译器自动收集类中的所有类变量的赋值动作和静态代码块中的语句合并而来。
-
我们注意到如果没有静态变量c,那么字节码文件中就不会有clinit方法
构造器方法clinit()中指令按语句在源文件中出现的顺序执行
虚拟机必须保证一个类的clinit()方法在多线程下被同步加锁。
即一个类只需被clinit一次,之后该类的内部信息就被存储在方法区。
可以看到线程2并不会重复执行初始化操作。
三、类加载器分类
-
JVM支持两种类型的加载器,分别为 引导类加载器 C/C++实现(BootStrap ClassLoader)和 自定义类加载器 由Java实现
-
从概念上来讲,自定义类加载器一般指的是程序中由开发人员自定义的一类类加载器,但是java虚拟机规范却没有这么定义,而是 将所有派生于抽象类ClassLoader的类加载器都划分为自定义类加载器。
-
这里的四者之间的关系是包含关系。不是上层下层,也不是子父类的继承关系。
-
按照这样的加载器的类型划分,在程序中我们最常见的类加载器是:引导类加载器BootStrapClassLoader、自定义类加载器(Extension Class Loader、System Class Loader、User-Defined ClassLoader)
3.1 自定义类与核心类库的加载器
-
对于用户自定义类来说:将使用系统类System Class Loader加载器中的AppClassLoader进行加载
-
Java核心类库都是使用引导类加载器BootStrapClassLoader加载的
/**
* ClassLoader加载
*/
public class ClassLoaderTest {
public static void main(String[] args) {
//获取系统类加载器
ClassLoader systemClassLoader = ClassLoader.getSystemClassLoader();
System.out.println(systemClassLoader);//sun.misc.Launcher$AppClassLoader@18b4aac2
//获取其上层 扩展类加载器
ClassLoader extClassLoader = systemClassLoader.getParent();
System.out.println(extClassLoader);//sun.misc.Launcher$ExtClassLoader@610455d6
//获取其上层 获取不到引导类加载器
ClassLoader bootStrapClassLoader = extClassLoader.getParent();
System.out.println(bootStrapClassLoader);//null
//对于用户自定义类来说:使用系统类加载器进行加载
ClassLoader classLoader = ClassLoaderTest.class.getClassLoader();
System.out.println(classLoader);//sun.misc.Launcher$AppClassLoader@18b4aac2
//String 类使用引导类加载器进行加载的 -->java核心类库都是使用引导类加载器加载的
ClassLoader classLoader1 = String.class.getClassLoader();
System.out.println(classLoader1);//null获取不到间接证明了String 类使用引导类加载器进行加载的
}
}
3.2 虚拟机自带的加载器
启动类加载器(引导类加载器,BootStrap ClassLoader)
-
这个类加载使用C/C++语言实现的,嵌套在JVM内部
-
它用来加载java的核心库(JAVA_HOME/jre/lib/rt.jar/resources.jar或sun.boot.class.path路径下的内容),用于提供JVM自身需要的类
-
并不继承自java.lang.ClassLoader,没有父加载器
-
加载拓展类和应用程序类加载器,并指定为他们的父加载器,即ClassLoader
-
出于安全考虑,BootStrap启动类加载器只加载包名为java、javax、sun等开头的类
拓展类加载器(Extension ClassLoader)
-
java语言编写 ,由sun.misc.Launcher$ExtClassLoader实现。
-
派生于ClassLoader类
-
从java.ext.dirs系统属性所指定的目录中加载类库,或从JDK的安装目录的jre/lib/ext子目录(扩展目录)下加载类库。如果用户创建的JAR放在此目录下,也会由拓展类加载器自动加载。
应用程序类加载器(系统类加载器,AppClassLoader)
-
java语言编写, 由sun.misc.Launcher$AppClassLoader实现。
-
派生于ClassLoader类
-
它负责加载环境变量classpath或系统属性 java.class.path指定路径下的类库
-
该类加载器是程序中默认的类加载器,一般来说,java应用的类都是由它来完成加载
-
通过ClassLoader#getSystemClassLoader()方法可以获取到该类加载器
/**
* 虚拟机自带加载器
*/
public class ClassLoaderTest1 {
public static void main(String[] args) {
System.out.println("********启动类加载器*********");
URL[] urls = sun.misc.Launcher.getBootstrapClassPath().getURLs();
//获取BootStrapClassLoader能够加载的api路径
for (URL e:urls){
System.out.println(e.toExternalForm());
}
//从上面的路径中随意选择一个类 看看他的类加载器是什么
//Provider位于 /jdk1.8.0_171.jdk/Contents/Home/jre/lib/jsse.jar 下,引导类加载器加载它
ClassLoader classLoader = Provider.class.getClassLoader();
System.out.println(classLoader);//null
System.out.println("********拓展类加载器********");
String extDirs = System.getProperty("java.ext.dirs");
for (String path : extDirs.split(";")){
System.out.println(path);
}
//从上面的路径中随意选择一个类 看看他的类加载器是什么:拓展类加载器
ClassLoader classLoader1 = CurveDB.class.getClassLoader();
System.out.println(classLoader1);//sun.misc.Launcher$ExtClassLoader@4dc63996
}
}
知识扩展:启动类加载器BootStrapClassLoader能够加载的api路径有
最近看java.util.concurrent包的内容,发现java.time.、java.util.、java.nio.、java.lang.、java.text.、java.sql.、java.math.*等等都在rt.jar包下。
3.3 用户自定义加载器
在Java的日常应用程序开发中,类的加载几乎是由上述三种类加载器相互配合执行的,在必要的时候,我们还可以自定义加载器,来定制类的加载方式。
为什么要使用用户自定义类加载器
-
隔离加载类
-
修改类加载的方式
-
拓展加载源
-
防止源码泄漏
用户自定义加载器实现步骤:
- 开发人员可以通过继承抽象类 java.lang.ClassLoader 类的方式,实现自己的类加载器,以满足一些特殊的需求
- 在JDK1.2之前,在自定义类加载器时,总会去继承ClassLoader类并重写loadClass()方法,从而实现自定义的类加载类,但是在JDK1.2之后已不再建议用户去覆盖loadClass()方法,而是建议把自定义的类加载逻辑写在findClass()方法中
- 在编写自定义类加载器时,如果没有太过于复杂的需求,可以直接继承URLClassLoader类,这样就可以避免自己去编写findClass()方法及其获取字节码流的方式,使自定义类加载器编写更加简洁。
四、ClassLoader的常用方法及获取方法
ClassLoader类,它是一个抽象类,其后所有的类加载器都继承自ClassLoader(不包括启动类加载器)
4.1 ClassLoader继承关系
sun.misc.Launcher它是一个java虚拟机的入口应用
4.2 代码示例
public class ClassLoaderTest2 {
public static void main(String[] args) {
try {
//1.Class.forName().getClassLoader()
ClassLoader classLoader = Class.forName("java.lang.String").getClassLoader();
System.out.println(classLoader); // String 类由启动类加载器加载,我们无法获取
//2.Thread.currentThread().getContextClassLoader()
ClassLoader classLoader1 = Thread.currentThread().getContextClassLoader();
System.out.println(classLoader1);
//3.ClassLoader.getSystemClassLoader().getParent()
ClassLoader classLoader2 = ClassLoader.getSystemClassLoader();
System.out.println(classLoader2);
} catch (ClassNotFoundException e) {
e.printStackTrace();
}
}
}
// 输出
null
sun.misc.Launcher$AppClassLoader@18b4aac2
sun.misc.Launcher$AppClassLoader@18b4aac2
五、双亲委派机制
Java虚拟机对class文件采用的是按需加载的方式,也就是说当需要使用该类时才会将她的class文件加载到内存生成的class对象。而且加载某个类的class文件时,java虚拟机采用的是双亲委派模式,即把请求交由父类处理,它是一种任务委派模式。
5.1 双亲委派机制工作原理
- 如果一个类加载器收到了类加载请求,它并不会自己先去加载,而是把这个请求委托给父类的加载器去执行;
- 如果父类加载器还存在其父类加载器,则进一步向上委托,依次递归,请求最终将到达顶层的启动类加载器;
- 如果父类加载器可以完成类加载任务,就成功返回,倘若父类加载器无法完成此加载任务,子加载器才会尝试自己去加载,这就是双亲委派模式。
5.2 代码示例
如图,虽然我们自定义了一个java.lang包下的String尝试覆盖核心类库中的String,但是由于双亲委派机制,启动加载器会加载java核心类库的String类(BootStrap启动类加载器只加载包名为java、javax、sun等开头的类),而核心类库中的String并没有main方法。
5.3 双亲委派机制的优势
-
避免类的重复加载,如上
-
保护程序安全,防止核心API被随意修改
启动类加载器可以抢在标准扩展类加载器之前去加载类,而标准扩展类装载器可以抢在类路径加载器之前去装载那个类,类路径装载 器又可以抢在自定义类加载器之前去加载它。所以Java虚拟机先从最可信的Java核心API查找类型,这是为了防止不可靠的类扮演被信任的类,试想一 下,网络上有个名叫java.lang.Integer的类,它是某个黑客为了想混进java.lang包所起的名字,实际上里面含有恶意代码,但是这种伎俩在双亲模式加载体系结构下是行不通的,因为网络类加载器在加载它的时候,它首先调用双亲类加载器,这样一直向上委托,直到启动类加载器,而启动类加载器在核心Java API里发现了这个名字的类,所以它就直接加载Java核心API的java.lang.Integer类,然后将这个类返回,所以自始自终网络上的 java.lang.Integer的类是不会被加载的。
- 保证核心API包的访问权限
但是如果这个移动代码不是去试图替换一个被信任的类(就是前面说的那种情况),而是想在一个被信任的包中插入一个全新的类型,情况会怎样呢?比如一个名为 java.lang.Virus的类,经过双亲委托模式,最终类装载器试图从网络上下载这个类,因为网络类装载器的双亲们都没有这个类(当然没有了,因为 是病毒嘛)。假设成功下载了这个类,那你肯定会想,Virus和lang下的其他类痛在java.lang包下,暗示这个类是Java API的一部分,那么是不是也拥有修改Java.lang包中数据的权限呢?答案当然不是,因为要取得访问和修改java.lang包中的权 限,java.lang.Virus和java.lang下其他类必须是属于同一个运行时包的,什么是运行时包?运行时包是指由同一个类装载器装载的、属 于同一个包的、多个类型的集合。考虑一下,java.lang.Virus和java.lang其他类是同一个类装载器装载的吗?不是 的!java.lang.Virus是由网络类装载器装载的!
自定义类:java.lang.MeDsh(java.lang包需要访问权限,阻止我们用包名自定义类)
5.4 双亲委派机制在SPI中的应用
-
某个应用程序由双亲委派机制找到引导类加载器,首先调用rt.jar包中的SPI核心,但由于SPI核心当中有各种各样的接口需要被实现(这里指具体的服务提供商),这里我们已JDBC.jar为例,jdbc.jar可以为我们提供具体的实现。
-
那么这时我们需要反向委托,找到线程上下文类加载器去加载jdbc.jar
-
线程上下文类加载器属于系统类加载器
5.5 沙箱安全机制
自定义String类,但是在加载自定义String类的时候会率先使用引导类加载器加载,而引导类加载器在加载的过程中会先加载JDK自带的文件(rt.jar包中java\lang\String.class),报错信息说没有main方法,就是因为加载的rt.jar包中的String类。这样可以何保证对java核心源代码的保护,这就是沙箱安全机制。
六、其他
6.1 JVM中表示两个class对象是否为同一个类
在JVM中表示两个class对象是否为同一个类存在的两个必要条件
-
类的完整类名必须一致,包括包名
-
即使类的完整类名一致,同时要求加载这个类的ClassLoader(指ClassLoader实例对象)必须相同;是引导类加载器、还是定义类加载器
换句话说,在JVM中,即使这两个类对象(class对象)来源同一个Class文件,被同一个虚拟机所加载,但只要加载它们的ClassLoader实例对象不同,那么这两个类对象也是不相等的。
6.2 对类加载器的引用
JVM必须知道一个类型是由启动类加载器加载的还是由用户类加载器加载的。如果一个类型由用户类加载器加载的,那么JVM会 将这个类加载器的一个引用作为类型信息的一部分保存在方法区中。当解析一个类型到另一个类型的引用的时候,JVM需要保证两个类型的加载器是相同的。
6.3 类的主动使用和被动使用
Java程序对类的使用方式分为:主动使用和被动使用,即是否调用了clinit()方法。
- 主动使用在类加载系统中的第三阶段initialization即初始化阶段调用了clinit()方法。
而被动使用不会去调用,主动使用,分为七种情况:
-
创建类的实例
-
访问某各类或接口的静态变量,或者对静态变量赋值
-
调用类的静态方法
-
反射 比如Class.forName(com.dsh.jvm.xxx)
-
初始化一个类的子类
-
java虚拟机启动时被标明为启动类的类
-
JDK 7 开始提供的动态语言支持:java.lang.invoke.MethodHandle实例的解析结果REF_getStatic、REF_putStatic、REF_invokeStatic句柄对应的类没有初始化,则初始化
- 除了以上七种情况,其他使用java类的方式都被看作是对类的被动使用,都不会导致类的初始化。