抖音研发实践：基于二进制文件重排的解决方案 APP启动速度提升超15%

Linkmap是iOS编译过程的中间产物，记录了二进制文件的布局，需要在Xcode的Build Settings里开启Write Link Map File：

Build Settings

比如以下是一个单页面Demo项目的linkmap。

linkmap

linkmap主要包括三大部分：

• Object Files 生成二进制用到的link单元的路径和文件编号

• Sections 记录Mach-O每个Segment/p的地址范围

• Symbols 按顺序记录每个符号的地址范围

---

ld

–

Xcode使用的链接器件是ld，ld有一个不常用的参数-order_file，通过man ld可以看到详细文档：

Alters the order in which functions and data are laid out. For each p in the output file, any symbol in that p that are specified in the order file file is moved to the start of its p and laid out in the same order as in the order file file.

可以看到，order_file中的符号会按照顺序排列在对应p的开始，完美的满足了我们的需求。

Xcode的GUI也提供了order_file选项：

order_file

如果order_file中的符号实际不存在会怎么样呢？

ld会忽略这些符号，如果提供了link选项-order_file_statistics，会以warning的形式把这些没找到的符号打印在日志里。

获得符号

---

还剩下最后一个，也是最核心的一个问题，获取启动时候用到的函数符号。

我们首先排除了解析Instruments(Time Profiler/System Trace) trace文件方案，因为他们都是基于特定场景采样的，大多数符号获取不到。最后选择了静态扫描+运行时Trace结合的解决方案。

Load

Objective C的符号名是+-[Class_name(category_name) method:name:]，其中+表示类方法，-表示实例方法。

刚刚提到linkmap里记录了所有的符号名，所以只要扫一遍linkmap的__TEXT,__text，正则匹配("^\+\[.*\ load\]$")既可以拿到所有的load方法符号。

C++静态初始化

C++并不像Objective C方法那样，大部分方法调用编译后都是objc_msgSend，也就没有一个入口函数去运行时hook。

但是可以用-finstrument-functions在编译期插桩“hook”，但由于抖音的很多依赖由其他团队提供静态库，这套方案需要修改依赖的构建过程。二进制文件重排在没有业界经验可供参考，不确定收益的情况下，选择了并不完美但成本最低的静态扫描方案。

1. 扫描linkmap的__DATA，__mod_init_func，这个p存储了包含C++静态初始化方法的文件，获得文件号[ 5]。

1//__mod_init_func 20x100008060    0x00000008  [  5] ltmp7 3//[  5]对应的文件 4[  5] …/Build/Products/Debug-iphoneos/libStaticLibrary.a(StaticLibrary.o)

2. 通过文件号，解压出.o。

1➜  lipo libStaticLibrary.a -thin arm64 -output arm64.a 2➜  ar -x arm64.a StaticLibrary.o

3. 通过.o，获得静态初始化的符号名_demo_constructor。

1➜  objdump -r -p=__mod_init_func StaticLibrary.o 2 3StaticLibrary.o:    file format Mach-O arm64 4 5RELOCATION RECORDS FOR [__mod_init_func]: 60000000000000000 ARM64_RELOC_UNSIGNED _demo_constructor

4. 通过符号名，文件号，在linkmap中找到符号在二进制中的范围：

10x100004A30    0x0000001C  [  5] _demo_constructor

5. 通过起始地址，对代码进行反汇编：

1➜  objdump -d --start-address=0x100004A30 --stop-address=0x100004A4B demo_arm64  2 3_demo_constructor: 4100004a30:    fd 7b bf a9     stp x29, x30, [sp, #-16]! 5100004a34:    fd 03 00 91     mov x29, sp 6100004a38:    20 0c 80 52     mov w0, #97 7100004a3c:    da 06 00 94     bl  #7016  8100004a40:    40 0c 80 52     mov w0, #98 9100004a44:    fd 7b c1 a8     ldp x29, x30, [sp], #16 10100004a48:    d7 06 00 14     b   #7004

6. 通过扫描bl指令扫描子程序调用，子程序在二进制的开始地址为：100004a3c +1b68（对应十进制的7016）。

1100004a3c:    da 06 00 94     bl  #7016

7. 通过开始地址，可以找到符号名和结束地址，然后重复5～7，递归的找到所有的子程序调用的函数符号。

小坑

STL里会针对string生成初始化函数，这样会导致多个.o里存在同名的符号，例如：

1__ZNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEC1IDnEEPKc

类似这样的重复符号的情况在C++里有很多，所以C/C++符号在order_file里要带着所在的.o信息：

1//order_file.txt 2libDemoLibrary.a(object.o):__GLOBAL__sub_I_demo_file.cpp

局限性

branch系列汇编指令除了bl/b，还有br/blr，即通过寄存器的间接子程序调用，静态扫描无法覆盖到这种情况。

Local符号

在做C++静态初始化扫描的时候，发现扫描出了很多类似l002的符号。经过一番调研，发现是依赖方输出静态库的时候裁剪了local符号。导致__GLOBAL__sub_I_demo_file.cpp 变成了l002。

需要静态库出包的时候保留local符号，CI脚本不要执行strip -x，同时Xcode对应target的Strip Style修改为Debugging symbol：

Strip Style

静态库保留的local符号会在宿主App生成IPA之前裁剪掉，所以不会对最后的IPA包大小有影响。宿主App的Strip Style要选择All Symbols，宿主动态库选择Non-Global Symbols。

Objective C方法

绝大部分Objective C的方法在编译后会走objc_msgSend，所以通过fishhook(https://github.com/facebook/fishhook) hook这一个C函数即可获得Objective C符号。由于objc_msgSend是变长参数，所以hook代码需要用汇编来实现：

1//代码参考InspectiveC 2__attribute__((__naked__)) 3static void hook_Objc_msgSend() { 4    save() 5    __asm volatile ("mov x2, lr\n"); 6    __asm volatile ("mov x3, x4\n"); 7    call(blr, &before_objc_msgSend) 8    load() 9    call(blr, orig_objc_msgSend) 10    save() 11    call(blr, &after_objc_msgSend) 12    __asm volatile ("mov lr, x0\n"); 13    load() 14    ret() 15}

子程序调用时候要保存和恢复参数寄存器，所以save和load分别对x0~x9, q0~q9入栈/出栈。call则通过寄存器来间接调用函数：

1#define save() \ 2__asm volatile ( \ 3"stp q6, q7, [sp, #-32]!\n"\ 4... 5 6#define load() \ 7__asm volatile ( \ 8"ldp x0, x1, [sp], #16\n" \ 9... 10 11#define call(b, value) \ 12__asm volatile ("stp x8, x9, [sp, #-16]!\n"); \ 13__asm volatile ("mov x12, %0\n" :: "r"(value)); \ 14__asm volatile ("ldp x8, x9, [sp], #16\n"); \ 15__asm volatile (#b " x12\n");

在before_objc_msgSend中用栈保存lr，在after_objc_msgSend恢复lr。由于要生成trace文件，为了降低文件的大小，直接写入的是函数地址，且只有当前可执行文件的Mach-O(app和动态库)代码段才会写入：

iOS中，由于ALSR(https://en.wikipedia.org/wiki/Address_space_layout_randomization)的存在，在写入之前需要先减去偏移量slide：

1IMP imp = (IMP)class_getMethodImplementation(object_getClass(self), _cmd); 2unsigned long imppos = (unsigned long)imp; 3unsigned long addr = immpos - macho_slide

获取一个二进制的__text段地址范围：

1unsigned long size = 0; 2unsigned long start = (unsigned long)getpdata(mhp,  “__TEXT”, “__text”, &size); 3unsigned long end = start + size;

获取到函数地址后，反查linkmap既可找到方法的符号名。

Block

block是一种特殊的单元，block在编译后的函数体是一个C函数，在调用的时候直接通过指针调用，并不走objc_msgSend，所以需要单独hook。

通过Block的源码可以看到block的内存布局如下：

1struct Block_layout { 2    void *isa; 3    int32_t flags; // contains ref count 4    int32_t reserved; 5    void  *invoke; 6    struct Block_descriptor1 *descriptor; 7}; 8struct Block_descriptor1 { 9    uintptr_t reserved; 10    uintptr_t size; 11};

其中invoke就是函数的指针，hook思路是将invoke替换为自定义实现，然后在reserved保存为原始实现。

1//参考 https://github.com/youngsoft/YSBlockHook 2if (layout->descriptor != NULL && layout->descriptor->reserved == NULL) 3{ 4    if (layout->invoke != (void *)hook_block_envoke) 5    { 6        layout->descriptor->reserved = layout->invoke; 7        layout->invoke = (void *)hook_block_envoke; 8    } 9}

由于block对应的函数签名不一样，所以这里仍然采用汇编来实现hook_block_envoke：

1__attribute__((__naked__)) 2static void hook_block_envoke() { 3    save() 4    __asm volatile ("mov x1, lr\n"); 5    call(blr, &before_block_hook); 6    __asm volatile ("mov lr, x0\n"); 7    load() 8    //调用原始的invoke，即resvered存储的地址 9    __asm volatile ("ldr x12, [x0, #24]\n"); 10    __asm volatile ("ldr x12, [x12]\n"); 11    __asm volatile ("br x12\n"); 12}

在before_block_hook中获得函数地址（同样要减去slide）。

1intptr_t before_block_hook(id block,intptr_t lr) 2{ 3    Block_layout * layout = (Block_layout *)block; 4    //layout->descriptor->reserved即block的函数地址 5    return lr; 6}

同样，通过函数地址反查linkmap既可找到block符号。

瓶颈

基于静态扫描+运行时trace的方案仍然存在少量瓶颈：

• initialize hook不到

• 部分block hook不到

• C++通过寄存器的间接函数调用静态扫描不出来

目前的重排方案能够覆盖到80%～90%的符号，未来我们会尝试编译期插桩等方案来进行100%的符号覆盖，让重排达到最优效果。

整体流程

流程

1. 设置条件触发流程

2. 工程注入Trace动态库，选择release模式编译出.app/linkmap/中间产物

3. 运行一次App到启动结束，Trace动态库会在沙盒生成Trace log

4. 以Trace Log，中间产物和linkmap作为输入，运行脚本解析出order_file

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Android）

如果你进阶的路上缺乏方向，可以加入我们的圈子和安卓开发者们一起学习交流！

• Android进阶学习全套手册

  

• Android对标阿里P7学习视频

  

• BATJ大厂Android高频面试题

  

最后，借用我最喜欢的乔布斯语录，作为本文的结尾：

人这一辈子没法做太多的事情，所以每一件都要做得精彩绝伦。
你的时间有限，所以不要为别人而活。不要被教条所限，不要活在别人的观念里。不要让别人的意见左右自己内心的声音。
最重要的是，勇敢的去追随自己的心灵和直觉，只有自己的心灵和直觉才知道你自己的真实想法，其他一切都是次要。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！

[外链图片转存中…(img-Y7LEmi8j-1713622732571)]

• Android对标阿里P7学习视频

  [外链图片转存中…(img-faQoRScq-1713622732573)]

• BATJ大厂Android高频面试题

  [外链图片转存中…(img-v4Lc5PjK-1713622732574)]

最后，借用我最喜欢的乔布斯语录，作为本文的结尾：

人这一辈子没法做太多的事情，所以每一件都要做得精彩绝伦。
你的时间有限，所以不要为别人而活。不要被教条所限，不要活在别人的观念里。不要让别人的意见左右自己内心的声音。
最重要的是，勇敢的去追随自己的心灵和直觉，只有自己的心灵和直觉才知道你自己的真实想法，其他一切都是次要。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！