一 前言介绍
正好最近又看到热更新,对以前Android 热修复核心原理:ClassLoader类加载机制做了点补充。
从16年开始开始,热修复技术开始在安卓界流行,它以classloader类加载机制为核心,可以不发布新版本就修复线上 bug ,让线上版本有能力去进行全量或者增量更新。
常见的思路有两种:
-
类加载方案,即 dex 插桩。该方案以腾讯系为主,包括微信的 Tinker、饿了么的 Amigo;
-
底层替换,即修改替换 ArtMethod。方案以阿里系的 AndFix 等为主;
本文主要介绍第一种方案。
1.1 ART 和 Dalvik
-
Dex :全称为Dalvik Executable Format,由很多 .class 文件处理压缩后的产物,最终可以在 Android 运行时环境执行。它适合于内存和处理器速度有限的系统。
-
Dalvik:Google设计的Android平台的Java虚拟机。支持转换为.dex格式的Java程序运行。DVM默认使用CMS垃圾回收器。
-
ART:Android Runtime,于Android 4.4 引入,在 Android 5.0 及更高版本作为默认的 Android 运行时。ART做出的具体改进可看安卓官方文档介绍:运行时:Android Runtime (ART) 和 Dalvik。ART 和 Dalvik 都是运行 Dex 字节码的兼容运行时,因此 ART 向下兼容Dalvik 开发的应用。
-
AOT:ART在应用安装的时候预编译字节码到机器语言,这一机制叫Ahead-Of-Time(AOT)预编译。执行该操作后,应用程序安装会变慢,但是执行将更有效率,启动更快。
1.2 dexopt与dexaot
-
dexopt:Dalvik虚拟机加载dex文件时,会对 dex 文件进行验证和优化,得到odex(Optimized dex) 文件。odex文件只是对dex文件使用了一些优化操作码。
-
dex2oat:dex或者odex文件经过 AOT 预编译,即得到OAT(实际上是ELF文件)可执行文件(机器码)。(相比做过odex优化,未做过优化的dex转换成OAT要花费更长的时间)
1.3 ART 和 Dalvik 对比
-
在Dalvik下,应用运行需要解释执行,常用热点代码通过即时编译器(JIT)将字节码转换为机器码,运行效率低。而在ART 环境中,应用在安装时,字节码预编译(AOT)成机器码,安装慢了,但运行效率会提高。
-
ART占用空间比Dalvik大(字节码变为机器码), “空间换时间"。
-
预编译也可以明显改善电池续航,因为应用程序每次运行时不用重复编译了,从而减少了 CPU 的使用频率,降低了能耗。
二 ClassLoader
2.1 Android运行流程
Android程序编译的时候,会将.java文件编译时.class文件,然后将.class文件打包为.dex文件。Android程序运行时,Android的Dalvik/ART虚拟机就会加载.dex文件从中获得.class文件到内存中来使用。
2.2 类加载工具ClassLoader
任何 Java 程序都是由一个或多个 class 文件组成,在程序运行时,需要通过 Java 的类加载机制将 class 文件加载到 JVM 中才可以使用。Java程序启动时不会一次性加载所有类,而是先把保证运行的基础类加载到jvm,其它类要用时再加载。这样的好处是节省了内存的开销,用时再加载这也是java动态性的一种体现。
这些类的加载就是通过ClassLoader来的,每个 Class 对象的内部都有一个 classLoader 字段来标识自己是由哪个 ClassLoader 加载的。安卓的ClassLoader
小改了java的ClassLoader
。
class Class<T> {
...
private transient ClassLoader classLoader;
...
}
常见的Android类加载器有如下四种:
- BootClassLoader :加载Android Framework层中的class字节码文件(类似java的BootstrapClassLoader)
- PathClassLoader :只能加载已经安装到Android系统中的Apk的 class 字节码文件,是Android默认使用的类加载器;(类似java的 AppClassLoader )
- DexClassLoader :可以加载加载制定目录的dex/jar/apk/zip文件文件(类似java中的 Custom ClassLoader ),比 PathClassLoader 更灵活,是实现热修复的重点;
- BaseDexClassLoader : PathClassLoader 和 DexClassLoader 的父类
Log.e(TAG, "Activity.class 由:" + Activity.class.getClassLoader() +" 加载");
Log.e(TAG, "MainActivity.class 由:" + getClassLoader() +" 加载");
//输出:
Activity.class 由:java.lang.BootClassLoader@b1202a1 加载
MainActivity.class 由:dalvik.system.PathClassLoader[DexPathList[[zip file "/data/app/com.enjoy.enjoyfix-1/base.apk"],nativeLibraryDirectories=[/data/app/com.enjoy.enjoyfix-1/lib/x86, /system/lib, /vendor/lib]]] 加载
它们之间的关系如下:
public class DexClassLoader extends BaseDexClassLoader {
public DexClassLoader(String dexPath, String optimizedDirectory,
String librarySearchPath, ClassLoader parent) {
super(dexPath, new File(optimizedDirectory), librarySearchPath, parent);
}
}
public class PathClassLoader extends BaseDexClassLoader {
public PathClassLoader(String dexPath, ClassLoader parent) {
super(dexPath, null, null, parent);
}
public PathClassLoader(String dexPath, String librarySearchPath, ClassLoader parent){
super(dexPath, null, librarySearchPath, parent);
}
}
PathClassLoader 与 DexClassLoader 在构造函数中都调用了父类的构造函数,两者唯一的区别在于:DexClassLoader
多传了一个optimizedDirectory
参数,并且会将其创建为File对象传给super,而PathClassLoader
则直接给到null。因此两者都可以加载指定的dex,以及jar、zip、apk中的classes.dex
PathClassLoader pathClassLoader = new PathClassLoader("/sdcard/xx.dex", getClassLoader());
File dexOutputDir = context.getCodeCacheDir();
DexClassLoader dexClassLoader = new DexClassLoader("/sdcard/xx.dex",dexOutputDir.getAbsolutePath(), null,getClassLoader());
其实optimizedDirectory参数就是dexopt的产出目录(odex)。DexClassLoader不仅仅可以加载 dex文件,还可以加载jar、apk、zip文件中的dex。而jar、apk、zip其实就是一些压缩格式,要拿到压缩包里面的dex文件就需要解压,所以,DexClassLoader在调用父类构造函数时会指定一个解压的目录。那PathClassLoader创建时,这个目录为null,就意味着不进行dexopt?并不是,optimizedDirectory为null时的默认路径为:/data/dalvik-cache。
在API 26源码中,将DexClassLoader的optimizedDirectory标记为了 deprecated 弃用,实现也变得和PathClassLoader一摸一样了:
public DexClassLoader(String dexPath, String optimizedDirectory,
String librarySearchPath, ClassLoader parent) {
super(dexPath, null, librarySearchPath, parent);
}
2.3 双亲委托机制
可以看到创建ClassLoader需要接收一个ClassLoader parent参数。这个parent的目的就在于实现类加载的双亲委托。即:某个类加载器在接到加载类的请求时,首先将加载任务委托给父类加载器,依次递归,如果父类加载器可以完成类加载任务,就成功返回;只有父类加载器无法完成此加载任务时,才自己去加载。
protected Class<?> loadClass(String name, boolean resolve) throws ClassNotFoundException{
// 检查class是否有被加载
Class c = findLoadedClass(name);
if (c == null) {
long t0 = System.nanoTime();
try {
if (parent != null) {
//如果parent不为null,则调用parent的loadClass进行加载
c = parent.loadClass(name, false);
} else {
//parent为null,则调用BootClassLoader进行加载
c = findBootstrapClassOrNull(name);
}
} catch (ClassNotFoundException e) {
}
if (c == null) {
// 如果都找不到就自己查找
long t1 = System.nanoTime();
c = findClass(name);
}
}
return c;
}
值得注意的是:c = findBootstrapClassOrNull(name);
按照方法名理解,应该是当parent为null时候,也能够加载BootClassLoader加载的类。但是实际上,Android当中的实现为:(Java不同)
private Class findBootstrapClassOrNull(String name)
{
return null;
}
2.4 类加载器的三个机制(约束)
双亲委托机制实际上是一种自上而下带缓存的加载,这种机制也决定它的一些特性:
委托:将类加载交由父类加载器加载,父不行再自己加载。
可见性:子类加载器可见所有的父类加载器加载的类,父类加载器不可见子类加载器加载的类。
单一性:一个类仅加载一次,子类加载器不会再次加载父类加载器加载过的类。
2.5 findClass
可以看到在所有父ClassLoader
无法加载Class时,则会调用自己的findClass方法。findClass在ClassLoader
中的定义为:
protected Class<?> findClass(String name) throws ClassNotFoundException {
throw new ClassNotFoundException(name);
}
其实任何ClassLoader子类,都可以重写loadClass与findClass。一般如果你不想使用双亲委托,则重写loadClass修改其实现。而重写findClass则表示在双亲委托下,父ClassLoader都找不到Class的情况下,定义自己如何去查找一个Class。而我们的PathClassLoader会自己负责加载MainActivity这样的程序中自己编写的类,利用双亲委托父ClassLoader加载Framework中的Activity。说明PathClassLoader并没有重写loadClass,因此我们可以来看看PathClassLoader中的 findClass 是如何实现的。
public BaseDexClassLoader(String dexPath, File optimizedDirectory,String
librarySearchPath, ClassLoader parent) {
super(parent);
this.pathList = new DexPathList(this, dexPath, librarySearchPath,
optimizedDirectory);
}
@Override
protected Class<?> findClass(String name) throws ClassNotFoundException {
List<Throwable> suppressedExceptions = new ArrayList<Throwable>();
//查找指定的class
Class c = pathList.findClass(name, suppressedExceptions);
if (c == null) {
ClassNotFoundException cnfe = new ClassNotFoundException("Didn't find class \"" + name + "\" on path: " + pathList);
for (Throwable t : suppressedExceptions) {
cnfe.addSuppressed(t);
}
throw cnfe;
}
return c;
}
实现非常简单,从pathList中查找class。继续查看DexPathList:
public DexPathList(ClassLoader definingContext, String dexPath,
String librarySearchPath, File optimizedDirectory) {
//.........
// splitDexPath 实现为返回 List<File>.add(dexPath)
// makeDexElements 会去 List<File>.add(dexPath) 中使用DexFile加载dex文件返回 Element数组
this.dexElements = makeDexElements(splitDexPath(dexPath), optimizedDirectory,
suppressedExceptions, definingContext);
//.........
}
public Class findClass(String name, List<Throwable> suppressed) {
//从element中获得代表Dex的 DexFile
for (Element element : dexElements) {
DexFile dex = element.dexFile;
if (dex != null) {
//查找class
Class clazz = dex.loadClassBinaryName(name, definingContext, suppressed);
if (clazz != null) {
return clazz;
}
}
}
if (dexElementsSuppressedExceptions != null) {
suppressed.addAll(Arrays.asList(dexElementsSuppressedExceptions));
}
return null;
}
可以看到, BaseDexClassLoader 的 findClass() 方法实际上是通过 DexPathList 的 findClass() 方法来获取class的,而这个 DexPathList 对象恰好在之前的 BaseDexClassLoader 构造函数中就已经被创建好了,里面解析了dex文件的路径,并将解析的dex文件都存在this.dexElements里面。DexPathList 类通过构造函数调用了 makeDexElements()
得到 Element
集
makeDexElements()
:
//解析dex文件
private static Element[] makeDexElements(ArrayList<File> files, File optimizedDirectory, ArrayList<I
// 1.创建Element集合
ArrayList<Element> elements = new ArrayList<Element>();
// 2.遍历所有dex文件(也可能是jar、apk或zip文件)
for (File file : files) {
ZipFile zip = null;
DexFile dex = null;
String name = file.getName();
...
// 如果是dex文件
if (name.endsWith(DEX_SUFFIX)) {
dex = loadDexFile(file, optimizedDirectory);
// 如果是apk、jar、zip文件(这部分在不同的Android版本中,处理方式有细微差别)
} else {
zip = file;
dex = loadDexFile(file, optimizedDirectory);
}
...
// 3.将dex文件或压缩文件包装成Element对象,并添加到Element集合中
if ((zip != null) || (dex != null)) {
elements.add(new Element(file, false, zip, dex));
}
}
// 4.将Element集合转成Element数组返回
return elements.toArray(new Element[elements.size()]);
}
可以看到,DexPathList
的构造函数是将一个个的程序文件(可能是dex、apk、jar、zip
)封装成一个个 Element
对象,最后添加到Element
集合中。Android
的类加载器(不管是PathClassLoader
,还是DexClassLoader
,它们最后在加载文件时,都只认dex
文件,而loadDexFile()
是加载dex
文件的核心方法,他可以可以从jar
、apk
、zip
中提取出dex
。
回头看一下PathClassLoader中的 findClass 方法:
Class c = pathList.findClass(name, suppressedExceptions);
于是看到DexPathList
的findClass()
方法。如下:
public Class findClass(String name, List<Throwable> suppressed) {
// 遍历从dexPath查询到的dex和资源Element
for (Element element : dexElements) {
DexFile dex = element.dexFile;
// 如果当前的Element是dex文件元素
if (dex != null) {
// 使用DexFile.loadClassBinaryName加载类
Class clazz = dex.loadClassBinaryName(name, definingContext, suppressed);
if (clazz != null) {
return clazz;
}
}
}
if (dexElementsSuppressedExceptions != null) {
suppressed.addAll(Arrays.asList(dexElementsSuppressedExceptions));
}
return null;
}
对 Element 数组进行遍历,一旦找到类名与name相同的类时,就直接返回这个 class ,找不到则返回null。
通过如上分析,我们发现整个类加载流程就是:
- 类加载器
BaseDexClassLoader
先将dex
文件解析放到pathList
到dexElements
里面 - 加载类的时候从
dexElements
里面去遍历,看哪个dex
里面有这个类就去加载,生成class
对象
三 热修复
接刚刚个类加载流程,热修复原理就是将补丁 dex 文件放到 dexElements 数组靠前位置,这样在加载 class 时,优先找到补丁包中的 dex 文件,加载到 class 之后就不再寻找,从而原来的 apk 文件中同名的类就不会再使用,从而达到修复的目的:
在PathClassLoader
中的Element数组为:[patch.dex , classes.dex , classes2.dex]
。如果存在Key.class位于patch.dex与classes2.dex中都存在一份,当进行类查找时,循环获得dexElements中的DexFile,查找到了Key.class则立即返回,不会再管后续的element中的DexFile是否能加载到Key.class了。因此一种热修复实现可以将出现Bug的class单独的制作一份fix.dex文件(补丁包),然后在程序启动时,从服务器下载fix.dex保存到某个路径,再通过fix.dex的文件路径,用其创建Element对象,然后将这个Element对象插入到我们程序的类加载器PathClassLoader的pathList
中的dexElements数组头部。这样在加载出现Bug的class时会优先加载fix.dex中的修复类,从而解决Bug。
热修复的方式不止这一种,并且如果要完整实现此种热修复可能还需要注意一些其他的问题(如:反射兼容)。另外插件的形式常见的有apk和
dex文件。
dex打包工具(d8)
更新的dex文件如何生成呢?
Android SDK
提供了dex
打包工具d8,在在Android 构建工具 28.0.1 及更高版本中可以找到:
对正常的java文件,直接javac成class文件后,可直接用d8编译成dex文件:
./d8 XXX.class
如果你想更新的文件是apk格式的,可直接在Android Studio中对更新的Module/Lib直接打包成apk。
代码实现
dex替换:
//在Application中进行替换
public class MApplication extends Application {
@Override
public void onCreate() {
super.onCreate();
//dex作为插件进行加载
dexPlugin();
}
...
/**
* dex作为插件加载
*/
private void dexPlugin(){
//插件包文件
File file = new File("/sdcard/hotfix.dex");
if (!file.exists()) {
Log.i("MApplication", "插件hotfix不存在");
return;
}
try {
//获取到 BaseDexClassLoader 的 pathList字段
// private final DexPathList pathList;
Field pathListField = BaseDexClassLoader.class.getDeclaredField("pathList");
//破坏封装,设置为可以调用
pathListField.setAccessible(true);
//拿到当前ClassLoader的pathList对象
Object pathListObj = pathListField.get(getClassLoader());
//获取当前ClassLoader的pathList对象的字节码文件(DexPathList )
Class<?> dexPathListClass = pathListObj.getClass();
//拿到DexPathList 的 dexElements字段
// private final Element[] dexElements;
Field dexElementsField = dexPathListClass.getDeclaredField("dexElements");
//破坏封装,设置为可以调用
dexElementsField.setAccessible(true);
//使用插件创建 ClassLoader
DexClassLoader pathClassLoader = new DexClassLoader(file.getPath(), getCacheDir().getAbsolutePath(), null, getClassLoader());
//拿到插件的DexClassLoader 的 pathList对象
Object newPathListObj = pathListField.get(pathClassLoader);
//拿到插件的pathList对象的 dexElements变量
Object newDexElementsObj = dexElementsField.get(newPathListObj);
//拿到当前的pathList对象的 dexElements变量
Object dexElementsObj=dexElementsField.get(pathListObj);
int oldLength = Array.getLength(dexElementsObj);
int newLength = Array.getLength(newDexElementsObj);
//创建一个dexElements对象
Object concatDexElementsObject = Array.newInstance(dexElementsObj.getClass().getComponentType(), oldLength + newLength);
//先添加新的dex添加到dexElement
for (int i = 0; i < newLength; i++) {
Array.set(concatDexElementsObject, i, Array.get(newDexElementsObj, i));
}
//再添加之前的dex添加到dexElement
for (int i = 0; i < oldLength; i++) {
Array.set(concatDexElementsObject, newLength + i, Array.get(dexElementsObj, i));
}
//将组建出来的对象设置给 当前ClassLoader的pathList对象
dexElementsField.set(pathListObj, concatDexElementsObject);
} catch (Exception e) {
e.printStackTrace();
}
}
apk:
// apk作为插件加载
private void apkPlugin() {
//插件包文件
File file = new File("/sdcard/hotfix.apk");
if (!file.exists()) {
Log.i("MApplication", "插件hotfix不存在");
return;
}
try {
//获取到 BaseDexClassLoader 的 pathList字段
// private final DexPathList pathList;
Field pathListField = BaseDexClassLoader.class.getDeclaredField("pathList");
//破坏封装,设置为可以调用
pathListField.setAccessible(true);
//拿到当前ClassLoader的pathList对象
Object pathListObj = pathListField.get(getClassLoader());
//获取当前ClassLoader的pathList对象的字节码文件(DexPathList )
Class<?> dexPathListClass = pathListObj.getClass();
//拿到DexPathList 的 dexElements字段
// private final Element[] dexElements;
Field dexElementsField = dexPathListClass.getDeclaredField("dexElements");
//破坏封装,设置为可以调用
dexElementsField.setAccessible(true);
//使用插件创建 ClassLoader
DexClassLoader pathClassLoader = new DexClassLoader(file.getPath(), getCacheDir().getAbsolutePath(), null, getClassLoader());
//拿到插件的DexClassLoader 的 pathList对象
Object newPathListObj = pathListField.get(pathClassLoader);
//拿到插件的pathList对象的 dexElements变量
Object newDexElementsObj = dexElementsField.get(newPathListObj);
//将插件的 dexElements对象设置给 当前ClassLoader的pathList对象
dexElementsField.set(pathListObj, newDexElementsObj);
} catch (Exception e) {
e.printStackTrace();
}
}
一些扩展
-
选择apk文件的方式一般就不对dexElements数组就行插前值操作了,而是直接替换整个dexElements数组。但是现实中,热更新可能只是更新某几个类或者资源文件,如果使用apk全量替换的方式,就很重,那么增量替换,即使用dex文件的方式,就是很好的方式;
-
更新的文件一般放服务器上需要客户端下载插前值;
-
so库在Android代码中是通过调用System.loadLibrary函数实现的。动态注册的native方法调用一次JNI_OnLoad方法都会重新完成一次映射, 所以我们是否只要先加载原来的so库,,然后再加载补丁so库,就能完成Java层native方法到native层patch后的新方法映射, 这样就完成动态注册native方法的patch实时修复。
-
、资源文件的更新方式:加载apk,反射调用AssetManager的addAssetPath方法。
参考文章:
Android Runtime (ART) 和 Dalvik