Android MultiDex机制杂谈

最新推荐文章于 2020-10-19 13:42:16 发布
最新推荐文章于 2020-10-19 13:42:16 发布
阅读量1.3k 收藏
点赞数
分类专栏： android应用开发

0x00 为什么需要MultiDex

如果你是一名android开发者，随着app功能复杂度的增加，代码量的增多和库的不断引入，你迟早会在5.0以下的某款设备上遇到：

Conversion to Dalvik format failed:
Unable to execute dex: method ID not in [0, 0xffff]: 65536

或者

trouble writing output:
Too many field references: 131000; max is 65536.
You may try using --multi-dex option.

这说明你的app的main dex方法数已经超过65535，如果打算继续兼容5.0以下手机，你可以采用google提供的MultiDex方案，但main dex方法数为什么不能超过65535呢？

其实在Dalvik的invoke-kind指令集中，method reference index只留了16bits，最多能调用65535个方法。

invoke-kind {vC, vD, vE, vF, vG}, meth@BBBB

B: method reference index (16 bits)

所以在生成dex文件的过程中，当方法数超过65535就会报错。我们可以在dx工具源码中找到一些线索：

dalvik/dx/src/com/android/dx/merge/IndexMap.java

/**
 * Maps the index offsets from one dex file to those in another. For example, if
 * you have string #5 in the old dex file, its position in the new dex file is
 * {@code strings[5]}.
 */
public final class IndexMap {
    private final Dex target;
    public final int[] stringIds;
    public final short[] typeIds;
    public final short[] protoIds;
    public final short[] fieldIds;
    public final short[] methodIds;

可以看到，methodIds，typeIds，protoIds，fieldIds都是short[]类型，对于每个具体的method来说都是限制在16bits。google dalvik开发者在这上面挖了个坑，MultiDex就是来填坑的。

0x01 使用MultiDex

MultiDex出现在google官方提供的support包里面，使用的时候需要在build.gradle中加上依赖：

compile 'com.android.support:multidex:1.0.0'

同时让app的Application继承MultiDexApplication

public class MultiDexApplication extends Application {
    public MultiDexApplication() {
    }

    protected void attachBaseContext(Context base) {
        super.attachBaseContext(base);
        MultiDex.install(this);
    }
}

也别忘了在build.gradle中修改：

multiDexEnabled true

0x02 MultiDex.install过程

先从MultiDex.install开始分析，传入的context是MultiDexApplication，loader是dalvik.system.PathClassLoader，运行时会先去app的dexDir /data/data/pkgname/code_cache/secondary-dexes下找secondary dex(除了main dex，其他都叫secondary dex，一个apk中可能存在多个secondary dex)，找到后先校验zip格式，没问题就直接installSecondaryDexes，否则会去强制从apk中重新extract secondary dex。

MultiDex.java

public static void install(Context context) {
		...
     ClassLoader loader;
     try {
         loader = context.getClassLoader();
         ...
         File dexDir = new File(applicationInfo.dataDir, SECONDARY_FOLDER_NAME);
         List<File> files = MultiDexExtractor.load(context, applicationInfo, dexDir, false);
            if (checkValidZipFiles(files)) {
                installSecondaryDexes(loader, dexDir, files);
            } else {
                Log.w(TAG, "Files were not valid zip files.  Forcing a reload.");
                // Try again, but this time force a reload of the zip file.
                files = MultiDexExtractor.load(context, applicationInfo, dexDir, true);

                if (checkValidZipFiles(files)) {
                    installSecondaryDexes(loader, dexDir, files);
                } else {
                    // Second time didn't work, give up
                    throw new RuntimeException("Zip files were not valid.");
                }
            }

MultiDexExtractor.load方法中，sourceApk指向的是/data/app/pkgname.apk，然后通过getZipCrc获取apk的CRC校验码，去和最后一次CRC校验码对比，若一致或者不是forceReload，那么直接loadExistingExtractions，loadExistingExtractions直接为/data/data/pkgname/code_cache/secondary-dexes/下已经存在的.dex创建File对象；如果不一致说明apk已经被修改了，dex需要重新从apk中抽取，此时执行performExtractions。

MultiDexExtractor.java

static List<File> load(Context context, ApplicationInfo applicationInfo, File dexDir,
        boolean forceReload) throws IOException {
    Log.i(TAG, "MultiDexExtractor.load(" + applicationInfo.sourceDir + ", " + forceReload + ")");
    final File sourceApk = new File(applicationInfo.sourceDir);

    long currentCrc = getZipCrc(sourceApk);

    List<File> files;
    if (!forceReload && !isModified(context, sourceApk, currentCrc)) {
        try {
            files = loadExistingExtractions(context, sourceApk, dexDir);
        } catch (IOException ioe) {
            Log.w(TAG, "Failed to reload existing extracted secondary dex files,"
                    + " falling back to fresh extraction", ioe);
            files = performExtractions(sourceApk, dexDir);
            putStoredApkInfo(context, getTimeStamp(sourceApk), currentCrc, files.size() + 1);

        }
    } else {
        Log.i(TAG, "Detected that extraction must be performed.");
        files = performExtractions(sourceApk, dexDir);
        putStoredApkInfo(context, getTimeStamp(sourceApk), currentCrc, files.size() + 1);
    }

    Log.i(TAG, "load found " + files.size() + " secondary dex files");
    return files;
}

performExtractions中真正抽取在extract方法中，输入参数分别是：

  • apk(ZipFile) 指向/data/app/pkgname.apk
  • dexFile(ZipEntry) 指向classes2.dex
  • extractTo(File) 指向/data/data/pkgname/code_cache/secondary-dexes/pkgname.apk.classes2.zip
  • extractedFilePrefix(String) pkgname.apk.classes

extract把dexFile写入到extractTo指向的一个entry，其中InputStream读的是apk中的classes2.apk，ZipOutputStream指向的是一个tmpFile，具体步骤为：

  1. 在/data/data/pkgname/code_cache/secondary-dexes/创建pkgname.apk.classes12345.zip的tmpFile；
  2. 对步骤1的tmpFile建立ZipOutputStream；
  3. 创建一个指向classes.dex的ZipEntry对象；
  4. 向tmpFile写入这个entry；
  5. 将tmpFile重命名为pkgname.apk.classes2.zip，tmpFile此时还存在；
  6. 删除tmpFile；

extract的实际效果就是在/data/data/pkgname/code_cache/secondary-dexes下创建了：

/data/data/pkgname/code_cache/secondary-dexes/pkgname.apk.classes2.zip

/data/data/pkgname/code_cache/secondary-dexes/pkgname.apk.classes3.zip

…

/data/data/pkgname/code_cache/secondary-dexes/pkgname.apk.classesN.zip

N是MultiDex拆分后dex的个数

private static void extract(ZipFile apk, ZipEntry dexFile, File extractTo,
        String extractedFilePrefix) throws IOException, FileNotFoundException {

    InputStream in = apk.getInputStream(dexFile);
    ZipOutputStream out = null;
    File tmp = File.createTempFile(extractedFilePrefix, EXTRACTED_SUFFIX,
            extractTo.getParentFile());
    Log.i(TAG, "Extracting " + tmp.getPath());
    try {
        out = new ZipOutputStream(new BufferedOutputStream(new FileOutputStream(tmp)));
        try {
            ZipEntry classesDex = new ZipEntry("classes.dex");
            // keep zip entry time since it is the criteria used by Dalvik
            classesDex.setTime(dexFile.getTime());
            out.putNextEntry(classesDex);

            byte[] buffer = new byte[BUFFER_SIZE];
            int length = in.read(buffer);
            while (length != -1) {
                out.write(buffer, 0, length);
                length = in.read(buffer);
            }
            out.closeEntry();
        } finally {
            out.close();
        }
        Log.i(TAG, "Renaming to " + extractTo.getPath());
        if (!tmp.renameTo(extractTo)) {
            throw new IOException("Failed to rename \"" + tmp.getAbsolutePath() +
                    "\" to \"" + extractTo.getAbsolutePath() + "\"");
        }
    } finally {
        closeQuietly(in);
        tmp.delete(); // return status ignored
    }
}

最后到真正的install阶段，在MultiDex中有三个私有嵌套类V19,V14和V4来负责具体的系统版本，分别对应android 4.4以上，4.0以上和4.0以下系统。

private static void installSecondaryDexes(ClassLoader loader, File dexDir, List<File> files)
        throws IllegalArgumentException, IllegalAccessException, NoSuchFieldException,
        InvocationTargetException, NoSuchMethodException, IOException {
    if (!files.isEmpty()) {
        if (Build.VERSION.SDK_INT >= 19) {
            V19.install(loader, files, dexDir);
        } else if (Build.VERSION.SDK_INT >= 14) {
            V14.install(loader, files, dexDir);
        } else {
            V4.install(loader, files);
        }
    }
}

以4.4为例，V19.install其实就是对输入additionalClassPathEntries反射调用makeDexElements创建Element[]对象，再去修改dalvik.system.BaseDexClassLoader的pathList字段表示的DexPathList类中的dexElements字段内容，把Element[]对象添加进去，这样以后dalvik.system.PathClassLoader就可以找到在secondary dex中的class了。

private static final class V19 {

    private static void install(ClassLoader loader, List<File> additionalClassPathEntries,
            File optimizedDirectory)
                    throws IllegalArgumentException, IllegalAccessException,
                    NoSuchFieldException, InvocationTargetException, NoSuchMethodException {
        /* The patched class loader is expected to be a descendant of
         * dalvik.system.BaseDexClassLoader. We modify its
         * dalvik.system.DexPathList pathList field to append additional DEX
         * file entries.
         */
        Field pathListField = findField(loader, "pathList");
        Object dexPathList = pathListField.get(loader);
        ArrayList<IOException> suppressedExceptions = new ArrayList<IOException>();
        expandFieldArray(dexPathList, "dexElements", makeDexElements(dexPathList,
                new ArrayList<File>(additionalClassPathEntries), optimizedDirectory,
                suppressedExceptions));
        if (suppressedExceptions.size() > 0) {
            for (IOException e : suppressedExceptions) {
                Log.w(TAG, "Exception in makeDexElement", e);
            }
            Field suppressedExceptionsField =
                    findField(loader, "dexElementsSuppressedExceptions");
            IOException[] dexElementsSuppressedExceptions =
                    (IOException[]) suppressedExceptionsField.get(loader);

            if (dexElementsSuppressedExceptions == null) {
                dexElementsSuppressedExceptions =
                        suppressedExceptions.toArray(
                                new IOException[suppressedExceptions.size()]);
            } else {
                IOException[] combined =
                        new IOException[suppressedExceptions.size() +
                                        dexElementsSuppressedExceptions.length];
                suppressedExceptions.toArray(combined);
                System.arraycopy(dexElementsSuppressedExceptions, 0, combined,
                        suppressedExceptions.size(), dexElementsSuppressedExceptions.length);
                dexElementsSuppressedExceptions = combined;
            }

            suppressedExceptionsField.set(loader, dexElementsSuppressedExceptions);
        }
    }

还有一点需要注意的是，DexPathList:makeDexElements最终会去做dex2opt，其中optimizedDirectory就是之前的dexDir，优化后的dex文件是pkgname.apk.classes2.dex，然而dex2opt会消耗较多的cpu时间，如果全部放在main线程去处理的话，比较影响用户体验，甚至可能引起ANR。

DexPathList.java

private static Element[] makeDexElements(ArrayList<File> files, File optimizedDirectory,
                                         ArrayList<IOException> suppressedExceptions) {
    ArrayList<Element> elements = new ArrayList<Element>();

    for (File file : files) {
        File zip = null;
        DexFile dex = null;
        String name = file.getName();

        if (file.isDirectory()) {
        } else if (file.isFile()){
            if (name.endsWith(DEX_SUFFIX)) {
                // Raw dex file (not inside a zip/jar).
                try {
                    dex = loadDexFile(file, optimizedDirectory);
                } catch (IOException ex) {
                    System.logE("Unable to load dex file: " + file, ex);
                }
            } else {
	...
            }
        } else {
            System.logW("ClassLoader referenced unknown path: " + file);
        }

        if ((zip != null) || (dex != null)) {
            elements.add(new Element(file, false, zip, dex));
        }
    }

    return elements.toArray(new Element[elements.size()]);
}

0x03 探明的坑

  • 坑1 如果secondary dex文件太大，可能导致应用在安装过程中出现ANR，这个在0x02 MultiDex.install的最后也提到过，规避方法以后将继续介绍。

  • 坑2 Dalvik linearAlloc bug (Issue 22586)：采用MutilDex方案的app在Android4.0以前的设备上可能会启动失败。

  • 坑N-1 Dalvik linearAlloc limit (Issue 78035)：使用MultiDex的app需要申请一个大内存，运行时可能导致程序crash，这个Issue在Android4.0已经修复了, 不过还是有可能在低于Android5.0的设备上出现。

  • 坑N main dex capacity exceeded，一边愉快地编译apk，一边写着代码，突然出现“main dex capacity exceeded”，build failed了… 这个时候怎么办，一种看似有效的办法是指定dex中的method数，例如：

android.applicationVariants.all {
    variant ->
        dex.doFirst{
            dex->
            if (dex.additionalParameters == null) {
                dex.additionalParameters = []
            }
                dex.additionalParameters += '--set-max-idx-number=55000'
       }
}

然并卵，虽然编译没问题了，但是运行时会大概率出现ClassNotFoundException和NoClassDefFoundError导致crash，原因很简单，MultiDex.install之前依赖的所有类必须在main dex中，暴力指定main dex数量，可能导致这些类被划分到了secondary dex，系统的PathClassLoader并不能在main dex中找到全部需要加载的类！好在5.0之后，安装app时ART会对apk中所有的classes(..N).dex预编译输出为一个.oat文件，因此找不到类的情况会彻底解决，但是编译时dex过程中main dex capacity exceeded的问题却仍然存在。

一个解决办法是build时指定maindexlist.txt，具体可以参考本博客的另一篇文章MultiDex中出现的main dex capacity exceeded解决之道。

idaretobe
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
android 获取手机缓存路径,Android之获取内、外置存储器路径
weixin_39884738的博客
05-29 2472
Android SDK提供了大量的接口获取存储器路径，而存储器分为内置存储器和外置存储器，下面分类列表获取路径的接口。(1)内置存储器getFilesDir(应用资源存入内置存储器)/data/user/0/com.xxx.ooo.filetestdemo/filescontext.getFilesDir()简单分析：* (1)内部存储* (2)获取内部存储中当前应用程序下的files目录的路径*...
MultiDex后java.lang.NoClassDefFoundError异常解决
m00123456789的博客
03-07 2694
出现java.lang.NoClassDefFoundError异常，排除掉classpath设置问题，发现是multidex后导致的。 为什么要用multidex？项目中因方法数超过了65536，所以用到了MultiDex。 经过筛查，发现这里异常是因为multidex落下了compileapplication配置造成的。改正后，解决。 这里放上完整的multidex步骤： 1.在buil
Android Studio使用MultiDex后遇到的NoClassDefFoundError；
斩断情丝写代码
11-25 1193
. 在项目开发中，我们总是需要许多第三的包，和自定义的方法；和这些无非会导致我们编写的项目出现64K问题（方法数超标）； . Google于是在Android Studio提供了MultiDex方案来解决这个问题； . 这里不在详谈MultiDex了，而是我最近遇到的使用MultiDex出现了NoClassDefFoundError问题；问题复现：api18手机运行环境，materialdi
【Android 基础】Multi-Dex 原理（一） -- 背景和使用
梦想成为大佬
07-17 1135
前言： 区别于传统的JAVA程序，android程序的编译过程： Android Apk 默认的结构 一个简单的安卓程序，编译生成apk的时候，默认的apk结构是： |-- AndroidManifest.xml |-- assets/ |-- res/ |-- META-INF/ |-- resources.arsc |-- classes.dex 原生的编译过程，只会生成一个dex文件，但是...
Android Button click 事件监听
Yano_nankai的博客
01-03 1029
Activity 实现 android.view.View.OnClickListener。 public class MainActivity extends Activity implements android.view.View.OnClickListener { private Button button1, button2, button3; @Overrid
Android内存优化杂谈
09-03
本文主要关注降低运行时内存，防止应用程序出现OOM异常，减少因内存过大导致的程序被系统LMK（Low Memory Killer）机制杀死的几率，以及避免过多的垃圾收集（GC）引发的卡顿现象。 内存泄露是导致运行时内存增加的...
Android开发杂谈.ppt
02-23
android 设计文档
Android开发杂谈
03-22
本文将基于“Android开发杂谈”的主题，结合提供的资源——一个名为"Android_.pdf"的文件，来深入探讨一些重要的知识点。 1. **源码阅读**： 在Android开发中，理解源码是提升技能的关键。Android开源项目(AOSP)...
android杂谈
05-10
Android的一些感想，是我自己的一些感受，希望用户多多下载
Android MultiDex实践：如何绕过那些坑？
richie0006的博客
04-09 1万+
本文是我的同事徐冬投稿，介绍他在方法数到达65k上限后，应用官方MultiDex方案时踩过的一些坑，以及如何解决这些棘手问题的实践过程。 前言 Android应用65k方法数的限制一直为广大开发者所诟病，在应用功能越来越丰富、各种开源库越来越多的今天，65k方法数瓶颈俨然已是一大绊脚石。 关于65k方法数限制的更多细节可以看下冯建的这篇文章： http:
dex分包之--------multidex包的配置使用
Davis
09-26 7655
一、前言    首先说一下我遇到的情况，最近接手了一个项目是在已有的项目里进行更新添加一些功能，然后该项目导了N多的包，在我使用Android Studio的run”App”直接安装到手机上运行是正常的，然后正式打包安装后就崩溃了，当时觉得很奇怪，然后一看日志： trouble writing output: Too many field references: 131000; max is
聊聊jvm的Code Cache
weixin_34381687的博客
03-30 558
序 本文主要研究一下jvm的Code Cache Code Cache JVM生成的native code存放的内存空间称之为Code Cache；JIT编译、JNI等都会编译代码到native code，其中JIT生成的native code占用了Code Cache的绝大部分空间 相关参数 Codecache Size Options -XX:InitialCodeCacheSize 用...
androidX 迁移中所遇到的一些问题总结
康——的博客
10-19 1013
2019年九月，google正式发布了android10，由于android对android9以后的包不再维护，最近客户也是很多android10的手机出了问题，所以不得不进行迁移至android10进行兼容 下面是我的迁移过程以及遇到的一些问题进行记录，希望可以帮助迁移中遇到问题的你： 一. 首先进行版本升级:compileSdkVersion 、targetSdkVersion都改为29 二. 和所有迁移项目一样：进行转换： 三、 转换成功可在gradle.properti...
Android MultiDex 解决 64K 限制，方法数超过65535解决方法
热门推荐
fan7983377的博客
06-28 1万+
参考一下文章： http://www.tuicool.com/articles/aiAf6f http://blog.csdn.net/zhangbuzhangbu/article/details/52770939 https://stackoverflow.com/questions/33787030/android-studio-issue-in-build-gradle-uncaught-tr
Android MultiDex实现原理解析
cangck_x的博客
06-19 1382
Android MultiDex实现原理解析 调用MultiDex的方式有多种，不论是直接使用官方提供的MultiDexApplication，还是继承MultiDexApplication，或者是重写自定义Application的attachBaseContext方法，最后都会调用到MultiDex.install(this);： @Override protected void
Android 解决65535的限制（官网推荐方法）
一座小楼的专栏
12-28 1万+
随着Android平台持续增长，Android应用程序越来越大。在Android系统中，一个App的所有代码都在一个Dex文件里面。
Java单个方法代码长度不能多于65535字节
Sono simpatico...
05-29 6874
Java单个方法代码长度不能多于65535字节，否则编译会出错！用sun的编译器是编译不过的。eclipse的编译器虽然能编译，但是编译的时候会出错，不过最后还是老老实实地给我生成了个.class文件。C:eclipseworkspaceChinaAreasrcnet3geGeneralAddressProcess>javac *.javaChinaArea.java:23: code t
Android 出现NoClassDefFoundError问题的解决：使用MultiDex
C先生的博客
05-11 1725
前阵子做的系统谷歌语音设置闹钟和计时器的功能，然后修复了一下横竖屏和全屏切换的bug，以为就完事了。没想到把代码提交给老师以后，老师说有问题，plus版本的项目打不开。但是明明已经测试过了三台手机，都没有问题才提交的。现在出现这种问题，真的好尴尬！ 冷静下来仔细想了想，是不是系统谷歌语音添加闹钟和计时器的功能有问题，因为在普通版本上没有出现APP闪退的问题，恰好普通版本的APP没有谷歌语音的...
深入探索Android开发：系统架构与优化
在Android开发领域，深入理解系统的构成和运作机制是至关重要的。本讨论涵盖了从系统启动、硬件方案到Android体系结构的多个层面，旨在帮助开发者更好地优化和理解Android应用程序。 首先，Android系统的启动过程是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值