24、LLVM编译流程

一、LLVM

1.1 LLVM概述

LLVM是构架编译器(compiler)的框架系统,以C++编写而成,用于优化以任意程序语言编写的程序的编译时间(compile-time)、链接时间(link-time)、运行时间(run-time)以及空闲时间(idle-time),对开发者保持开放,并兼容已有脚本.LLVM计划启动于2000年,最初由美国UIUC大学的Chris Lattner博士主持开展.2006年Chris Lattner加盟App Inc.并致力于LLVM在Apple开发体系中的应用.Apple也是LLVM计划的主要资助者.目前LLVM已经被苹果iOS开发工具、Xilinx Vivado、Facebook、Goole等各大公司采用

1.1.1 传统编译器设计

1.1.1.1 编译器前端(Frontend)

编译器前端的任务是解析源代码.它会进行: 词法分析,语法分析,语义分析,检查源代码是否存在错误,然后构建抽象语法树(Abstract Syntax Tree, AST),LLVM的前端还会生成中间代码(Intermediate Representation,IR)

1.1.1.2 优化器(Optimizer)

优化器负责进行各种优化.改善代码的运行时间,例如消除冗余计算等

1.1.1.3 后端(Backend)/代码生成器(CodeGenerator)

将代码映射到目标指令集.生成机器语言,并且进行机器相关的代码优化

1.1.2 iOS的编译器架构

Objective C / C / C++使用的编译器前端是Clang, Swift是Swift, 后端都是LLVM

1.2 LLVM的设计

当编译器决定支持多种源语言或多种硬件架构时,LLVM最重要的地方就来了,其他的编译器如GCC, 它方法非常成功,但由于它是作为整体应用程序设计的,因此它们的用途受到了很大的限制.

LLVM设计的最重要方面是,使用通用的代码表示形式(IR), 它是用来在编译器中表示代码的形式.所以LLVM可以为任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端.

1.2.1 Clang

Clang是LLVM项目中的一个子项目. 它是基于LLVM架构的轻量级编译器,诞生之初是为了替代GCC,提供更快的编译速度. 它是负责编译C、C++、Objective-C语言的编译器,它属于整个LLVM架构中的,编译器前端.对于开发者来说,研究Clang可以给我们带来很多好处.

1.2.1.1 编译流程

通过命令可以打印源码的编译阶段

• • 0: 输入文件: 找到源文件
  • 1: 预处理阶段: 这个过程处理包括宏的替换,头文件的导入.
  • 2: 编译阶段: 进行词法分析、语法分析、检测语法是否正确,最终生成IR
  • 3: 后端: 这里LLVM会通过一个一个的Pass去优化,每个Pass做一些事情,最终生成汇编文件.
  • 4: 生成目标文件.
  • 5: 链接: 链接需要的动态库和静态库,生成可执行文件.
  • 6: 通过不同的架构,生成对应的可执行文件.

1.2.1.2 简单案例看流程

创建一个main.m文件,编写一些代码

#include <stdio.h>
#define MainDefine 12345
int sum(int a, int b) {
    return a + b;
}
int main(int argc, char * argv[]) {
    int a = sum(MainDefine, 54321);
    printf("output: %d\n",a);
    return 0;
}

那么在执行这段代码时,它的编译流程具体是如何体现呢?

1.2.1.2.1 预处理阶段

执行如下命令,查看这段代码的过程

clang -E main.m > ./mainE.m && open mainE.m

• • > ./mainE.m 表示在当前目录下输出结果形成为 mainE.m 文件
  • && 表示后续拼接命令
  • open mainE.m 表示打开mainE.m文件
• 执行命令后,打开文件,在最底部可以看到预处理阶段: 头文件的导入和宏的替换

1.2.1.2.2 编译阶段

• 词法分析

预处理完成后就会进行词法分析.这里会把代码切成一个个Token,比如大小括号,等号还有字符串等.

clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m

• 语法分析
  • 词法分析完成之后就是语法分析,它的任务是验证语法是否正确.在词法分析的基础上将单词序列组合成各类语法短语,如“程序”,“语句”,“表示式”等等, 然后将所有节点组成抽象语法树(Abstract Syntax Tree,AST).语法分析程序判断源程序在结构上是否正确.

clang -fmodules -fsyntax-only -Xclang -ast-dump main.m

• • 分析结果如下显示:

• • 如果导入头文件找不到(比如: fatal error: 'UIKit/UIKit.h' file not found),那么可以指定SDK路径

clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator16.2.sdk   -fmodules -fsyntax-only -Xclang -ast-dump main.m

1.2.1.2.3 生成中间代码IR(Intermediate Representation)

完成以上步骤后就可以开始生成中间代码IR了,代码生成器(Code Generation)会将语法树自顶向下遍历逐步翻译成LLVM IR.通过下面命令可以生成 .ll 的文本文件,查看IR代码

clang -S -fobjc-arc -emit-llvm main.m

• • Objective C代码在这一步会进行Runtime的桥接: property合成, ARC处理等.
  • IR的基本语法

@ 全局标识
% 局部标识
alloca 开辟空间
align  内存对齐
i32    32个bit,4个字节
store  写入内存
load   读取数据
call   调用函数
ret    返回

• • 生成的IR中间代码部分如下

....
; Function Attrs: noinline optnone ssp uwtable
define i32 @main(i32 %0, i8** %1) #1 {
  %3 = alloca i32, align 4
  %4 = alloca i32, align 4
  %5 = alloca i8**, align 8
  %6 = alloca i32, align 4
  store i32 0, i32* %3, align 4
  store i32 %0, i32* %4, align 4
  store i8** %1, i8*** %5, align 8
  %7 = call i32 @sum(i32 12345, i32 54321)
  store i32 %7, i32* %6, align 4
  %8 = load i32, i32* %6, align 4
  %9 = call i32 (i8*, ...) @printf(i8* getelementptr inbounds ([12 x i8], [12 x i8]* @.str, i64 0, i64 0), i32 %8)
  ret i32 0
}
......

• • IR的优化
  • LLVM的优化级别分别是 -O0 -O1 -O2 -O3 -Os

clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll && open main.ll

• BitCode
  • Xcode7 以后开启Bitcode,苹果会做进一步的优化. 生成.bc的中间代码.
  • 我们通过优化后的IR代码生成 .bc代码

clang -emit-llvm -c main.ll -o main.bc

1.2.1.2.4 生成汇编代码

我们通过最终的 .bc或者 .ll 代码生成汇编代码

clang -S -fobjc-arc main.bc -o main.s
clang -S -fobjc-arc main.ll -o main.s

生成汇编代码也可以进行优化

clang -Os -S -fobjc-arc main.m -o main.s

1.2.1.2.5 生成目标文件(汇编器)

目标文件的生成,是汇编起以汇编代码作为输入,将汇编代码转换为机器代码,最后输出目标文件(object file).

clang -fmodules -c main.s -o main.o

• 通过nm命令,查看下 main.o中的符号

xcrun nm -nm main.o
                 (undefined) external _printf
0000000000000000 (__TEXT,__text) external _sum
0000000000000009 (__TEXT,__text) external _main

• • _printf 是一个 undefined external的
  • undefined 表示在当前文件暂时找不到符号 _printf
  • external 表示这个符号是外部可以访问的

1.2.1.2.6 生成可执行文件(链接)

链接器把编译产生的 .o文件和(.dylib, .a)文件,生成一个 Mac-O文件

clang main.o -o main

查看链接之后的符号

 xcrun nm -nm main
                 (undefined) external _printf (from libSystem)
                 (undefined) external dyld_stub_binder (from libSystem)
0000000100000000 (__TEXT,__text) [referenced dynamically] external __mh_execute_header
0000000100003f66 (__TEXT,__text) external _sum
0000000100003f6f (__TEXT,__text) external _main
0000000100008008 (__DATA,__data) non-external __dyld_private