1.写在前面
今天我要讲的就是Java的热部署的原理,由于热部署的原理和类的加载机制有关,所以打算讲一下类加载的机制,废话不多说,直接开始我们今天的博客之旅吧。
2.什么是类加载
类的加载指的是将类的.class文件的二进制数据读入到内存中,将其放在运行数据区的方法去,然后再堆区创建一个java.lang.Class对象,用来封装类在方法区的数据结构。类的加载的最终产品是位于堆区中的Class对象,Class对象封装了类在方法区的数据结构,并且向Java程序员提供了访问方法区的数据结构的接口。
类加载器并不需要等到某个类被"首次主动使用"时再加载它,JVM规范允许类加载器在预料某个类将要被使用时就预先加载它,如果在预先加载的过程中遇到了.class文件的缺失或存在错误,类加载器必须在程序首次主动使用该类时才报告错误(LinkageError错误)如果这个类一直没有被程序主动使用,那么类加载器就不会报告错误。
那么加载.class文件的方式如下:
- 从本地系统中直接加载
- 通过网络下载.class文件
- 从zip、jar等归档文件中加载.class文件
- 从专有数据库中提取.class文件
- 将Java源文件动态编译为.class文件
3.类的生命周期
其中类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。在这5个阶段中,加载、验证、准备和初始化这四个阶段发生的顺序是确定的,而解析的阶段则不一定,它在某些情况下可以在初始化阶段之后开始,这是为了支持Java语言的运行时绑定(也成为动态绑定或晚期绑定)。另外注意这里的几个阶段是按顺序开始,而不是按顺序进行或完成,因为这些阶段通常都是互相交互地混合进行的,通常在一个阶段执行的过程中调用或激活另一个阶段。
3.1加载
查找并加载类的二进制数据
加载时类加载过程的第一个阶段,在加载阶段,虚拟机需要完成以下三件事情:
- 通过一个类的全限定名来获取其定义的二进制字节流。
- 将这个字节流所代表的静态存储结构转化为方法区的运行时数据结构。
- 在Java堆中生成一个代表这个类的java.lang.Class对象,作为对方法区中这些数据的访问入口。
相对于类加载的其他阶段而言,加载阶段(准确地说,是加载阶段获取类的二进制的二进制字节流的动作)是可控性最强的阶段,因为开发人员既可以使用系统提供的类加载器来完成加载,也可以自定义自己的类加载器来完成加载。
加载阶段完成后,虚拟机外部的二进制字节流就按照虚拟机所需的格式存储在方法区之中,而在Java堆中也创建一个java.lang.Class类的对象,这样便可以通过该对象访问方法区中的这些数据。
3.2连接
验证:确保被加载的类的正确性
验证是连接阶段的第一步,这一阶段的目的是为了确保Class文件的字节流中包含的信息符合当前虚拟机的要求,并且不会危害虚拟机自身的安全。验证阶段大致会完成4个阶段的校验动作。
- 文件格式验证:验证字节流是否符合Class文件格式的规范;例如:是否以0xCAFEBABE开头、主次版本号是否在单签虚拟机的处理范围之内、常量池中的常量是否有不被支持的类型。
- 元数据验证:对字节码描述的信息进行语义分析(注意:对比javac编译阶段的语义分析),以保证其描述信息符合java语言的规范的要求;例如:这个类是否有父类,除了java.lang.Object之外。
- 字节码验证:通过数据流和控制流分析,确定程序语义是合法的、符合逻辑的。
- 符合引用验证:确保解析动作能正确执行。
验证阶段是非常重要的,但不是必须的,它对程序运行期没有影响,如果所引用的类经过反复验证,那么可以考虑采用-Xverifynone参数来关闭大部分的类验证措施,以缩短虚拟机类加载的时间。
准备:为类的静态变量分配内存,并将其初始化为默认值
准备阶段是正式为类变量分配内存并设置类变量初始值的阶段,这些内存都将在方法区中分配。对于该阶段有以下几点需要注意:
-
这时候进行内存分配的仅包括类变量(static),而不包括实例变量,实例变量会在对象实例化时随着对象一块分配在java堆中。
-
这里锁设置的初值通常情况下是数据类型默认的零值(如0、0L、null、false等),而不是被在java代码中被显示地赋予的值。
假设一个类变量的定义为:public static int value = 3;
那么变量value在准备阶段过后的初始值为0,而不是3,因为这时候尚未开始执行任何Java方法,而把value赋值为3的putstatic指令是在程序编译后,存放于类构造器()方法之中的,所以把value赋值为3动作将在初始化阶段才会执行。
注意:
- 对基本数据类型来说,对于类变量(static)和全局变量,如果不显示地对其赋值而直接使用,则系统会为其默认的零值,而对于局部变量来说,在使用前必须显示地为其赋值,否则编译时不通过。
- 对于同时被static和final修饰的常量,必须在声明的时候就为其显示地赋值,否则编译时不通过;而只被final修饰的常量则既可以在声明时显示地为其赋值,也可以在类初始化时显示地为其赋值,总之,在使用前必须为其显示地的赋值,系统不会为其赋予默认零值。
- 对于引用数据类型reference来说,如数组引用、对象引用等,如果没有对其进行显示地赋值而直接使用,系统都会为其赋予默认的零值,即null。
- 如果在数组初始化时没有对数组中的各元素赋值,那么其中的元素将根据对应的数据类型而被赋予零值。
-
如果类字段的字段属性表中存在ConstantValue属性,即同时被final和static修饰,那么在准备的阶段变量value就会被初始化为ConstantValue属性所指定的值。
假设上面的类变量value被定义为:public static final int value = 3;
编译时javac将会为value生成ConstantValue属性,在准备阶段虚拟机就会根据ConstantValue的设置将value赋值为3.我们可以理解为static final常量在编译期就将其结果放入了调用它的类的常量池中。
解析:把类中的符合引用转换为直接引用
解析阶段是虚拟机将常量池内的符号引用替换为直接引用的过程,解析动作主要针对类或接口、字段、类方法、接口方法、方法类型、方法句柄和调用点限定符7类符号引用进行。符号引用就是一组符号来描述目标,可以是任何字面量。
直接引用就是直接指向目标的指针、相对偏移量或一个间接定位到目标的句柄。
3.3初始化
初始化,为类的静态变量赋予正确的初始值,JVM负责对类进行初始化,主要对类变量进行初始化。在java中对类变量进行初始值设定有两种方式:
- 声明类变量是指定初始值
- 使用静态代码块为类变量指定初始值
JVM初始化步骤:
- 假设这个类还没有被加载和连接,则程序先加载并连接该类
- 假设该类的直接父类还没有被初始化,则先初始化其直接父类
- 假设类中有初始化语句,则系统依次执行这些初始化代码
类初始化时机:只有当对类的主动使用的时候才会导致类的初始化,类的主动使用包括以下六种:
- 创建类的实例,也就是new的方式
- 访问某个类或接口的静态变量,或者对该静态变量赋值
- 调用类的静态方法
- 反射
- 初始化某个类的子类,则其父类也厚被初始化
- Java虚拟机启动时被标明为启动类的类,直接使用java.exe命令来运行某个主类。
3.4结束生命周期
在如下几种情况下,Java虚拟机将结束生命周期
- 执行了System.exit()方法
- 程序正常执行结束
- 程序在执行过程中遇到了异常或错误而异常终止
- 由于操作系统出现错误而导致Java虚拟机进程终止
4.类加载器
我们先来写一个类,看看java类的内置了哪些的加载器,具体的代码如下:
package com.ys.classLoader;
public class FindClassLoaderTest {
public static void main(String[] args) {
ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
System.out.println(classLoader);
System.out.println(classLoader.getParent());
System.out.println(classLoader.getParent().getParent());
}
}
运行的结果如下:
从上图的结果可以看出,并没有获取到ExtClassLoader
的父Loader,原因是BootstrapLoader
(引导类加载器)是用C语言实现的,找不到一个确定的返回父Loader的方式,于是就返回null。
这几种类加载器的层次的关系如下图所示:
注意:这里的父类加载器并不是通过继承的关系来实现的,而是采用组合实现的。
站在Java虚拟机的角度来讲,只存在两种不同的类加载器:
- 启动类加载器:它使用C++实现,是虚拟机自身的一部分
- 所有其他的类加载:这些类加载器都由Java语言实现,独立于虚拟机之外,并且全部继承抽象类java.lang.ClassLoader,这些类加载器需要由启动类加载器加载到内存中之后才能去加载其他的类。
站在java开发人员的角度来看,类加载器可以大致划分以下三类:
-
启动类加载器:Bootstrap ClassLoader,负责加载存放在JDK\jre\lib(JDK代表JDK的安装目录,下同)下,或被-Xbootclasspath参数指定的路径中的,并且能被虚拟机识别的类库(如rt.jar,所有的java.*开头的类均被BootstrapClassLoader加载)。启动类加载器是无法被java程序直接引用的。
-
扩展类加载器:Extension ClassLoader,该加载器由sun.misc.Launcher$ExtClassLoader实现,它负责加载JDK\jre\lib\ext目录中,或者由java.ext.dirs系统变量指定的路径中的所有的类库(如javax.*开头的类),开发者可以直接使用扩展类加载器。
-
应用程序类加载器:Application ClassLoader,该类加载器由sun.misc.Launcher$AppClassLoader来实现,它负责加载用户类路径(ClassPath)所指定的类,开发者可以直接使用该类加载器,如果应用程序中没有自定义过自己的类加载器,一般情况下这个就是程序中默认的类加载器。
应用程序都是由这三种类加载器相互配合进行加载的,如果有必要,我们可以加入自定义的类加载器。因为JVM自带的ClassLoader只是懂得从本地文件系统加载标准的java class文件,因此如果编写自己的ClassLoader,便可以做到如下几点:
- 在执行非置信的代码之前,自动验证数字签名。
- 动态地创建符合用户特定需要的定制化构建类。
- 从特定的场所取得java Class,例如数据库中和网络中。
5.Java类加载机制
全盘负责:当一个类加载器负责加载某个Class时,该Class所依赖的和引用的其他Class也将由该类加载器负责载入,除非显示使用另外一个类加载器来载入。
父亲委托:先让父类加载器试图加载该类,只有在父类加载器无法加载该类时才尝试从自己的类路径中加载该类。
缓存机制:缓存机制将会保证所有加载过的Class都会被缓存,当程序中需要使用某个Class时,类加载器先从缓存区寻找该Class,只有当缓存区不存在,系统才会读取该类对应的二进制数据,并将其转换成Class对象,存入缓存区。这就是为什么修改了Class后,必须重启JVM,程序的修改才会生效。
6.类的加载
类加载有三种方式:
- 命令行启动应用时候由JVM初始化加载
- 通过Class.forName()方法动态加载
- 通过ClassLodaer.loadClass()方法动态加载
测试的代码如下:
package com.ys.classLoader;
public class LoadClassTest {
public static void main(String[] args) throws Exception {
ClassLoader classLoader = LoadClassTest.class.getClassLoader();
System.out.println(classLoader);
//使用ClassLoader.loadClass()来加载类,不会执行初始化代码
//classLoader.loadClass("com.ys.classLoader.Test1");
//使用Class.forName()来加载类,会默认执行初始化代码
//Class.forName("com.ys.classLoader.Test1");
//使用Class.forName()来加载类,并指定类加载器,不会执行初始化代码
Class.forName("com.ys.classLoader.Test1", false, classLoader);
}
}
package com.ys.classLoader;
public class Test1 {
static {
System.out.println("静态初始化代码执行了....");
}
}
Class.forName()和ClassLoader.loadClass()区别
Class.forName():将类的.class文件加载到jvm中之外,还会对类进行解释,执行类中的static块;
ClassLoader.loadClass():只干一件事情,就是将.class文件加载到jvm中,不会执行static中的内容,只有在newInstance才会去执行static块。
Class.forName(name,initialize,loader)带参函数也可控制是否加载static块。并且只有调用了newInstance()方法采用调用构造函数,创建类的对象。
7.双亲委派模型
双亲委派模型的工作流程是:如果一个类加载器收到了类加载的请求,它首先不会自己去尝试加载这个类,而是把请求委托给父加载器去完成,依次向上,因此,所有的类加载请求最终都应该被传递到顶层的启动类加载器中,只有当父加载器在它搜索范围中没有找到所需的类时,即无法完成该加载,子加载器才会尝试自己去加载该类。
具体的过程:
- 当AppClassLoader加载一个Class时,它首先不会自己去尝试加载这个类,而是把类加载请求委托给父类加载器ExtClassLoader去完成。
- 当ExtClassLoader加载一个Class时,它首先也不会字节去尝试加载这个类,而是把类加载请求委派给BootstrapClassLoader去完成。
- 如果BootstrapClassLoader加载失败,会使用ExtClassLoader来尝试加载
- 若ExtClassLoader也加载失败,则会使用AppClassLoader来加载,如果AppClassLoader也加载失败,则会报出异常ClassNotFoundException。
ClassLoader源码分析:
public Class<?> loadClass(String name)throws ClassNotFoundException {
return loadClass(name, false);
}
protected synchronized Class<?> loadClass(String name, boolean resolve)throws ClassNotFoundException {
// 首先判断该类型是否已经被加载
Class c = findLoadedClass(name);
if (c == null) {
//如果没有被加载,就委托给父类加载或者委派给启动类加载器加载
try {
if (parent != null) {
//如果存在父类加载器,就委派给父类加载器加载
c = parent.loadClass(name, false);
} else {
//如果不存在父类加载器,就检查是否是由启动类加载器加载的类,通过调用本地方法native Class findBootstrapClass(String name)
c = findBootstrapClass0(name);
}
} catch (ClassNotFoundException e) {
// 如果父类加载器和启动类加载器都不能完成加载任务,才调用自身的加载功能
c = findClass(name);
}
}
if (resolve) {
resolveClass(c);
}
return c;
}
双亲委派模型的意义:
- 系统类防止内存中出现多份同样的字节码
- 保证java程序安全稳定运行。
8.自定义加载器的应用
8.1热部署
我们都知道JVM中有缓存的机制,所以这也会导致我们修改的类,必须重启JVM虚拟机,才会加载新的类,从而达成修改的目的。那我们可不可以通过自己写的类加载器,然后在类的修改的同时,我们让自定义类加载来重新加载我们修改的类。
通过上面的源码的阅读和双亲委派的机制,我们这儿写的自定义的类加载器,如果在不打破双亲委派机制的话,那么我们写的自定义类加载器将不会工作。所以我们这儿要打破双亲委派机制。
我们先写一个自定义的类加载器,具体的代码如下:
package com.classloader;
import com.Application;
import com.Test;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;
public class MyClassLoader extends ClassLoader {
//目的 让缓存里面永远能返回一个Class对象 这样就不需要走父类加载器了
//在构造方法里面加载类 loadClass
//项目的根路径
public String rootPath;
//所有需要由我这个类加载器加载的类存在这个集合
public List<String> clazzs;
//两个classloader 一个是负责加载 需要被热部署的代码的
//一个是加载系统的一些类的
//classPaths: 需要被热部署的加载器去加载的目录
public MyClassLoader(String rootPath, String... classPaths) throws Exception {
this.rootPath = rootPath;
this.clazzs = new ArrayList<>();
for (String classPath : classPaths) {
scanClassPath(new File(classPath));
}
}
//扫描项目里面传进来的一些class
public void scanClassPath(File file) throws Exception {
if (file.isDirectory()) {
for (File file1 : file.listFiles()) {
scanClassPath(file1);
}
} else {
String fileName = file.getName();
String filePath = file.getPath();
String endName = fileName.substring(fileName.lastIndexOf(".") + 1);
if (endName.equals("class")) {
//现在我们加载到的是一个Class文件
//如何吧一个Class文件 加载成一个Class对象????
InputStream inputStream = new FileInputStream(file);
byte[] bytes = new byte[(int) file.length()];
inputStream.read(bytes);
//文件名转类名
String className = fileNameToClassName(filePath);
//类名
defineClass(className, bytes, 0, bytes.length);
clazzs.add(className);
//loadClass 是从当前ClassLoader里面去获取一个Class对象
}
}
}
//文件名转类名,这儿操作系统不同可能文件的分隔符不一样,所以这儿需要注意,笔者用的Mac。Windows操作需要自行修改。
public String fileNameToClassName(String filePath) {
String className = filePath.replace(rootPath, "").replaceAll("/", ".");
className = className.substring(1, className.lastIndexOf("."));
return className;
}
@Override
public Class<?> loadClass(String name) throws ClassNotFoundException {
Class<?> loadClass = findLoadedClass(name);
//第一情况 这个类 不需要由我们加载
//第二种情况 这个类需要由我们加载 但是 确实加载不到
if (loadClass == null) {
if (!clazzs.contains(name)) {
loadClass = getSystemClassLoader().loadClass(name);
} else {
throw new ClassNotFoundException("没有加载到类");
}
}
return loadClass;
}
//当文件被修改的时候再进行热部署
public static void main(String[] args) throws Exception {
//双亲委派机制
Application.run(MyClassLoader.class);
}
}
Application类
package com;
import com.classloader.MyClassLoader;
import org.apache.commons.io.monitor.FileAlterationMonitor;
import org.apache.commons.io.monitor.FileAlterationObserver;
import java.io.File;
public class Application {
public static String rootPath;
public static void run(Class<?> clazz) throws Exception {
String rootPath = MyClassLoader.class.getResource("/").getPath().replaceAll("%20", " ");
rootPath = new File(rootPath).getPath();
Application.rootPath = rootPath;
MyClassLoader myClassLoader = new MyClassLoader(rootPath, rootPath + "/com");
//用我们自己的类加载器加载程序入口
startFileListener(rootPath);
start0(myClassLoader);
}
//开启文件监听器
public static void startFileListener(String rootPath) throws Exception {
FileAlterationObserver fileAlterationObserver = new FileAlterationObserver(rootPath);
fileAlterationObserver.addListener(new FileListener());
FileAlterationMonitor fileAlterationMonitor = new FileAlterationMonitor(500);
fileAlterationMonitor.addObserver(fileAlterationObserver);
fileAlterationMonitor.start();
//要实现文件监听: 写一个线程 去定时监听某个路径下所有的文件
//如果文件发生改动 就回调监听器
}
//新的classLoader
public static void start() {
System.out.println("启动我们的应用程序");
new Test().test();
}
public static void stop() {
System.out.println("程序退出");
//告诉jvm需要gc了
System.gc();
//告诉jvm可以清除对象引用
System.runFinalization();
}
public static void start0(MyClassLoader classLoader) throws Exception {
//全盘委托的机制,通过自定义的类加载加载,然后start方法中的new Test()也会通过自定义的类加载器加载
Class<?> aClass = classLoader.loadClass("com.Application");
aClass.getMethod("start").invoke(aClass.newInstance());
}
}
文件监听器代码:
package com;
import com.classloader.MyClassLoader;
import org.apache.commons.io.monitor.FileAlterationListenerAdaptor;
import java.io.File;
public class FileListener extends FileAlterationListenerAdaptor {
@Override
public void onFileChange(File file) {
if (file.getName().indexOf(".class") != -1) {
try {
MyClassLoader myClassLoader = new MyClassLoader(Application.rootPath, Application.rootPath + "/com");
Application.stop();
Application.start0(myClassLoader);
} catch (Exception e) {
e.printStackTrace();
}
}
}
}
Test类的代码如下:
package com;
public class Test {
public void test() {
System.out.println("当前版本:version 1.0");
System.out.println(this.getClass().getClassLoader());
}
}
运行结果如下,当我们修改了Test的源码,然后点击一下编译,就会打印修改后的信息,具体如下:
8.2网络传输的Class加密
通常情况下,我们都是直接使用系统类加载器。但是,有的时候,我们也需要自定义类加载器。比如应用是通过网络来传输 Java 类的字节码,为保证安全性,这些字节码经过了加密处理,这时系统类加载器就无法对其进行加载,这样则需要自定义类加载器来实现。自定义类加载器一般都是继承自 ClassLoader 类,从上面对 loadClass 方法来分析来看,我们只需要重写 findClass 方法即可。下面我们通过一个示例来演示自定义类加载器的流程:
package com.ys.classloader;
import java.io.*;
public class MyClassLoader extends ClassLoader {
private String root;
protected Class<?> findClass(String name) throws ClassNotFoundException {
byte[] classData = loadClassData(name);
if (classData == null) {
throw new ClassNotFoundException();
} else {
return defineClass(name, classData, 0, classData.length);
}
}
private byte[] loadClassData(String className) {
String fileName = root + File.separatorChar
+ className.replace('.', File.separatorChar) + ".class";
try {
InputStream ins = new FileInputStream(fileName);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
int bufferSize = 1024;
byte[] buffer = new byte[bufferSize];
int length = 0;
while ((length = ins.read(buffer)) != -1) {
baos.write(buffer, 0, length);
}
return baos.toByteArray();
} catch (IOException e) {
e.printStackTrace();
}
return null;
}
public String getRoot() {
return root;
}
public void setRoot(String root) {
this.root = root;
}
public static void main(String[] args) {
MyClassLoader classLoader = new MyClassLoader();
classLoader.setRoot("/User/king/temp");
Class<?> testClass = null;
try {
testClass = classLoader.loadClass("com.ys.classloader.Test2");
Object object = testClass.newInstance();
System.out.println(object.getClass().getClassLoader());
} catch (ClassNotFoundException e) {
e.printStackTrace();
} catch (InstantiationException e) {
e.printStackTrace();
} catch (IllegalAccessException e) {
e.printStackTrace();
}
}
}
自定义类加载器的核心在于对字节码文件的获取,如果是加密的字节码则需要在该类中对文件进行解密。由于这里只是演示,我并未对class文件进行加密,因此没有解密的过程。
9.写在最后
本篇博客介绍了类加载的机制,以及类加载机制的应用,通过打破双亲委托机制完成了热部署。通过利用双亲委派机制,完成对网络加密的Class进行解析。