今日头条 iOS 安装包大小优化 - 新阶段、新实践(1)

这两项设置可以改变 actool 构建 Assets.car 时选取的编码压缩算法,减小包大小。我们可以使用 xcrun assetutil --info Assets.car 命令检查 Assets.car 中每张图片使用的编码压缩算法。在今日头条环境下,整理的结果如下:

由于 Assets.car 中 png 图片的编码压缩算法得到了改变,这两项配置在今日头条落地时获得了 2.31MB 的包大小收益。

2.2、使用 RGB with palette 压缩图片


在今日头条投入包大小优化的早期,我们曾尝试对 Asset Catalog 中的 png 图片做无损压缩,但实践后发现,虽然放入 Asset Catalog 的图片大小有了明显减小,但是构建的产物的大小却几乎没有变化。

经过探究,我们发现,Xcode 中,构建 Asset Catalog 的工具 actool 会首先对 Asset Catalog 中的 png 图片进行解码,得到 Bitmap 数据,然后再运用 actool 的编码压缩算法进行编码压缩处理。无损压缩通过变换图片的编码压缩算法减少大小,但是不会改变 Bitmap 数据。对于 actool 来说,它接收的输入没有改变,所以无损压缩无法优化 Assets.car 的大小。

那是否有其他的压缩方式能优化 Assets.car 的大小呢?我们猜测对图片做合适的有损压缩是一个思路。

于是我们尝试了 RGB with palette 编码方式[2]。RGB with palette 编码的得到的字节流首先维护了一个颜色数组。颜色数组每个成员用 RGBA 四个分量维护一个颜色。图像中的每个像素点则存储颜色数组的下标代表该点的颜色。颜色数组维护的颜色种类和数量由图片决定,同时可以人为的限制颜色数组维护颜色的种类的上限,默认为最大值 256 种。这种编码方式正如它的名字:palette(调色板)。

App 中大部分图片虽然使用了很多种类的颜色,但这些颜色中大多数都非常接近,从视觉上很难分辨,比如大量扁平风格的 icon。这种类型的图片非常适合用 palette 编码且减少颜色数组大小的方式来进行有损压缩,既能减少颜色数量实现有损压缩,也能保证保留的颜色贴近原始图片,使得经过有损压缩后的也看起来质量无损。我们在今日头条上落地,获得了 3.15MB 包大小收益。

在具体执行中,我们使用了 ImageOptim 工具改变图片的编码方式为 RGB with palette :

imageoptim -Q --no-imageoptim --imagealpha --number-of-colors 16 --quality 40-80 ./1.png

其中 --number-of-colors  控制颜色数组维护颜色的数量;--quality  控制图片的质量变为原来的百分比。我们的经验表明,当 --number-of-colors  从 16 开始向上调整,--quality 维持 40-80,能够在显著减少包大小的同时维持肉眼看不到的质量变化。经过 UI 同学的像素眼审查,确认优化前后的图片看起来无差别。

2.3、Assets.car 合并


今日头条使用 CocoaPods 进行组件集成,各个组件携带的 Asset Catalog 文件以 Podspec 中 resource_bundles 的方式引入,最终会以 Bundle 下的 Assets.car 文件的形式体现在安装包内。

以 7.9.4 版本为例,安装包内有 106 个 Bundle 包含 Assets.car 文件:

Assets.car 文件本质上是 BOM 文件,同时,Xcode 在使用 actool 构建 Assets.car 文件时,也会自带一些优化操作,比如:将若干张小图片自动合并为一张 Packed Image。因此,将若干个 Assets.car 合并,可以减少重复的 BOM Block,也可以最大化享受到 actool 自带的优化效果。

在构建的过程中,今日头条通过在 Build Phases 中加入脚本,将多个库中 Asset Catalog 中的图片合并到一个 Asset Catalog 中,再经 actool 构建成 Assets.car 产物。这一优化产生了 2.1MB 的包大小收益。同时,从理论上分析,这一优化也可以减少运行时 Assets.car 的解析操作,对图片读取的响应耗时有正向收益。

2.4、文本文件压缩


除了占比最大的图片资源,今日头条安装包内还有不少文本文件资源,如 JSON 文件、HTML 文件等。这些文本文件的压缩也能带来包大小优化效果。

今日头条落地的文本文件压缩方案由三部分组成:

1、压缩阶段:在 Build Phase 中添加脚本,构建期间对白名单内的文本文件做 zip 压缩;

2、解压阶段:在 App 启动阶段,在异步线程中进行解压操作,将解压产物存放到沙盒中;

3、读取阶段:在 App 运行时,hook 读取这些文件的方法,将读取路径从 Bundle 改为沙盒中的对应路径;

这一方案能在业务入侵较少的前提下完成压缩优化。我们首先将这一方案应用在了 Lottie 动画的 JSON 文件上,产生了 400KB 的包大小收益。后续这一方案也可以进一步拓展,应用在更多类型的文件上。

三、Mach-O 文件优化

=============

在资源优化的同时,我们也关注到,Mach-O 文件始终占据了今日头条安装包 80% 左右的体积。Mach-O 文件的优化必不可少。下面我们以时间顺序,介绍我们落地的 Mach-O 文件优化项。

3.1、使用 -Oz 编译参数


Oz 是 Xcode 11 新增的编译优化选项。WWDC 2019 《What’s New in Clang and LLVM》[3] 中对 Oz 有过介绍。Oz 的核心原理是对重复的连续机器指令外联成函数进行复用,和“内联函数”的原理正好相反。因此,开启 Oz,能减小二进制的大小,但同时理论上会带来执行效率的额外消耗。对性能(CPU)敏感的代码使用需要评估。

苹果给的参考数据是 4.5% 的包体积收益。

我们在评估了执行效率、堆栈解析、稳定性和编译速度后,对大部分源代码开启了 Oz 编译,包体积减小 4MB 以上。

3.2、使用链接时优化 LTO


Link-Time Optimization 链接时优化,是 Xcode 自带的一个编译/链接参数。根据 WWDC 2016 《What’s New in LLVM》[4]的介绍,LTO 对包大小和运行效率都有正向影响。今日头条在编译和链接中均开启 Incremental LTO 后,包体积减小 6.5MB。

3.3、修正 Exported Symbols 配置


Xcode Build Settings 中的 EXPORTED_SYMBOLS_FILE 配置,控制着 Mach-O 中 __LINKEDIT 段中 Export Info 的信息。动态链接器 dyld 在做符号绑定时,会读取被绑定的动态库或可执行文件的 Export Info 信息,得到一个符号对应的实际调用地址。如果正在被绑定的符号,在目标动态库的 Export Info 中缺失,dyld 则会抛出异常,表现为 App 崩溃。

虽然从原理上看,Export Info 中的信息不可或缺。但是,对于一个 Mach-O 文件来说,并非所有的符号都是需要暴露给其他动态库或可执行文件的。理想情况下,私有的符号应该在编码时就应该以 __attribute__((visibility(hidden))) 修饰。但在历史代码难以逐个添加修饰符的情况下,Exported Symbols 配置给了工程一个维护公有符号白名单的机会。如果填写了有效的 EXPORTED_SYMBOLS_FILE 配置,动态库或者可执行文件会在静态链接时去掉白名单以外的符号,起到缩减包大小、增加逆向难度的作用。

今日头条在使用 Exported Symbols 配置后,包大小减少了 2.1MB。

3.4、属性动态化


属性是 OC 中最常见的概念之一。然而,一个属性并没有我们想象的这么小。通过分析 Mach-O 文件,我们发现,一个属性可以分为三个部分:

(1)成员变量部分:成员变量本质是一个大小 32B 的结构体,结构体中三个指针(Offset、Name、Type)指向的内容的大小分别为 8B、10B、10B,其中 Name、Type 指针指向的内容的大小和成员变量的类型、名字长度相关。总大小大约 60B。

@interface presentViewController ()

@property (nonatomic,strong) UIImageView *imageView;

@property (nonatomic,strong) UIButton *button;

@property (nonatomic,strong) NSString *name;

@end

(2)自动生成的 set/get 方法部分:set/get 方法本质是一个大小 24B 的结构体,结构体包含三个指针 Name、Type、Implementation,指向的内容大小大概为 10B、10B、20B。一个方法大小大概是64B,set、get 两个方法就是 128B。

(3)property 部分:property 的本质仍然是个结构体,大小是 16B,结构体中两个指针指向内容的大小分别大概是 10B、10B,和属性的名字和类型相关。总大小大概 36B。

即一个属性占用的包大小大约为 224B。

如果我们用 @dynamic 修饰一个属性,不生成成员变量、get/set 方法,则一个属性可以由 224B 减少到 36B,即仅包含 property 部分的大小。

同时,代码中存在大量通过脚本自动生成的 JSONModel 子类,这些子类往往拥有大量属性。这里也就存在着包大小优化空间。

于是我们通过修改生成 JSONModel 子类的脚本,实现了:

1、属性全部使用 @dynamic 修饰,基础变量额外生成 IVAR

2、所有 JSONModel 的子类继承自新的父类,新的父类实现 resolveInstanceMethod,在该方法中用 class_addMethod 统一为属性添加 get/set 方法。对象类型的属性使用关联对象的方式存取,基础类型的属性使用额外生成的 IVAR 存取。

这一优化获得了 800KB 的包大小收益,并且评估对读写的性能影响损耗可以接受。

3.5、__TEXT 段迁移


安装包经过压缩后的 Download Size 若超过 200 MB,在蜂窝网络下载 App 就会受到限制,这对新增会有较大影响。在 2020 年下半年,我们探索实践了 __TEXT 段迁移技术:在链接阶段使用 -rename_p 选项将 __TEXT,__text 迁移到 __BD_TEXT,__text,减少苹果对可执行文件的加密范围,提升可执行文件的压缩效率,从而减少 Download Size。

使用该方案我们最终减少了 60 MB 的 Download Size 以及 2 MB 的 Install Size。详细的原理可以参考:《今日头条优化实践:iOS 包大小二进制优化,一行代码减少 60 MB 下载大小》[5]。

3.6、二进制段压缩


Mach-O 文件占据了 Install Size 中很大一部分比例,但并不是文件中的每个段/节在程序启动的第一时间都要被用到。可以在构建过程中将 Mach-O 文件中的这部分段/节压缩,然后只要在这些段被使用到之前将其解压到内存中,就能达到了减少包大小的效果,同时也能保证程序正常运行。由于苹果的一些限制,我们目前只压缩了 __TEXT,__gcc_except_tab__TEXT,__objc_methtype两个节,然后在 _dyld_register_func_for_add_image 的回调中对它进行解压。该方案累计优化了 3.5 MB Install Size。

四、总结

====

在以上优化项落地的同时,我们还与业务协作,通过挖掘无用代码、无用资源等手段,进一步优化着安装包大小。使得今日头条在高速的业务迭代下,包大小仍能保持稳定。

五、加入我们

======

在实践包大小优化的过程中,我们发现,做优化,既需要静下心来做技术攻坚,也需要与各方协作配合。我们作为今日头条平台架构 iOS 团队,在性能优化、基础组件、业务架构、研发体系、安全合规、线下质量基础设施、线上问题定位归因平台等方向持续深耕,负责保障和提升今日头条的产品质量和开发效率,聚焦于今日头条的同时向外延伸。

如果你对技术充满热情,喜欢追求极致,渴望用自己的代码改变数亿用户的体验,欢迎加入我们。我们期待你与我们共同成长。目前我们在北京、深圳均有招聘需求,简历投递邮箱:tech@bytedance.com;邮件标题:姓名 - 工作年限 - 今日头条 - 平台架构 - iOS/Android 。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Android)

尾声

以薪资待遇为基础,以发展为最终目标,要在高薪资的地方,谋求最好的发展!

下面是有几位Android行业大佬对应上方技术点整理的一些进阶资料。

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

,可以扫码获取!!(备注:Android)**

尾声

以薪资待遇为基础,以发展为最终目标,要在高薪资的地方,谋求最好的发展!

下面是有几位Android行业大佬对应上方技术点整理的一些进阶资料。

[外链图片转存中…(img-1vOODHWY-1712910108780)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

  • 5
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值