nvcc编译器之编译内幕(chapter 2&3)

目录

2. 编译阶段(步骤)

2.1 NVCC预定义宏

2.2 NVCC编译步骤

2.3 NVCC支持的文件后缀

2.4 支持的编译阶段

3. CUDA 编译内幕


2. 编译阶段(步骤)

2.1 NVCC预定义宏

  • __NVCC__

在编译C/C++/CUDA源文件时定义

  • __CUDACC__

在编译CUDA源文件时定义

  • __CUDACC_RDC__

在编译可重定位(relocatable)设备端代码模式时定义(详见6.2章节)

  • __CUDACC_EWP__

在可扩展整个程序模式下编译CUDA源文件时定义(详见4.2.3章节)

  • __CUDACC_DEBUG__

在指定编译debug版本的CUDA源文件时定义(详见4.2.3章节)

  • __CUDACC_RELAXED_CONSTEXPR__

命令行中指定--expt-relaxed-constexpr标志位时定义,详细参阅《cuda C编程指南》

  • __CUDACC_EXTENDED_LAMBDA__

命令行中指定--expt-extended-lambda或者--extended-lambda标志位时定义,详细参阅《cuda C编程指南》

  • __CUDACC_VER_MAJOR__

随nvcc的major版本定义

  • __CUDACC_VER_MINOR__

随nvcc的minor版本定义

  • __CUDACC_VER_BUILD__

随nvcc的构建版本定义

2.2 NVCC编译步骤

nvcc的编译由几个不同的逻辑翻译步骤组成,这可以通过nvcc命令行选项来选择。

一个单独的编译阶段,也可以被NVCC分解成几个不同的步骤,这些步骤合并组成一个编译过程。然而,编译取决于nvcc所使用的(nvcc更像一个编译工具的集成者)内部编译套件,这些编译套件会随着CUDA工具套件的更新而改变。因此,在不同的发行版本中,只有统一的整个编译流程是稳定不变的。nvcc提供了一系列命令行选项来展示编译所执行的不同阶段,但这仅仅用作debug使用,不要拷贝并在构建脚本中使用。因为编译的中间结果依赖于特定的nvcc编译工具套件,多版本之间可能不兼容。

实际上,nvcc的编译除了依赖于编译选项,也依赖于输入文件的后缀。通过输入文件后缀确定编译阶段的输入,通过命令行选项确定编译阶段的输出。2.3章节会介绍NVCC支持的文件后缀,2.4章节会介绍NVCC支持的编译阶段。

2.3 NVCC支持的文件后缀

  • .cu:cuda源文件,包含了host代码和device代码
  • .c:C源文件
  • .cc,.cxx,.cpp:C++源文件
  • .ptx:ptx中间汇编码文件
  • .cubin:cuda设备端可执行二进制码文件(单GPU架构下)
  • .fatbin:cuda fat二进制文件,可以包含多个ptx码和cubin码文件
  • .o,.obj:对象文件
  • .a,.lib:库文件
  • .res: 资源文件
  • .so:动态库文件

2.4 支持的编译阶段

下表介绍支持的编译阶段和相关的命令行选项,以及不同编译阶段的默认输出文件名称(当不使用--output-file选项时):

Phase

nvcc选项

默认输出文件名称

cuda编译到C/C++源文件

--cuda

-cuda

x.cpp.ii,x表示源文件名。该输出文件可以通过host编译器进行后续编译,nvcc使用host编译器对.cu文件进行预处理

C/C++预处理

--preprocess

-E

标准的预处理输出

C/C++编译到目标文件

--compile

-c

x.o(Linux和Mac OS X),x.obj(Windows)

从cuda源文件生成cubin文件

--cubin

-cubin

x.cubin

从ptx中间码生成cubin文件

--cubin

-cubin

x.cubin

从cuda源文件生成ptx中间码文件

--ptx

-ptx

x.ptx

从源文件,ptx或cubin文件生成fatbin文件

--fatbin

-fatbin

x.fatbin

链接生成设备端的可重定位代码

--device-link

-dlink

a_dlink.obj(Windows)或a_dlink.o(Linux, Mac OS X)

从设备端可重定位代码生成设备端cubin二进制

--device-link --cubin

-dlink -cubin

a_dlink.cubin

从设备端可重定位代码生成fatbin

--device-link --fatbin

-dlink -fatbin

a_dlink.fatbin

链接生成可执行文件

无选项

a.out(Linux, Mac OS X)或a.exe(Windows)

目标文件打成包或库

--lib

-lib

a.a(Linux, Mac OS X)或a.lib(Windows)

生成依赖

--generate-dependencies

-M

标准的输出

生成不包含系统path路径的依赖

--generate-nonsystem-dependencies

-MM

标准输出

运行可执行文件

--run

-run

直接运行编译好的可执行文件,无需指定库路径(LD_LIBRARY_PATH)

在不指定具体命令行选项的时候,nvcc编译并链接所有输入的文件。

3. CUDA 编译内幕

cuda编译过程如下:

1) 源程序进行设备端(GPU)代码编译前的预处理,预处理后编译成cuda二进制(cubin)和(或)ptx中间码,放到fatbin文件中
2)源程序进行主机端(CPU)代码编译前的预处理,预处理后合入fatbin进去,并转换所有cuda C++扩展语法到标准的C++语法
3)host主机侧编译器编译合并后的代码(标准C++,以及嵌入了fatbin设备端代码)成目标文件。

当主机(端)程序启动(launch)运行设备端(__global__)代码时,cuda运行时系统会检查嵌入的fatbin代码,并获取适合当前GPU运行的fatbin(也就是说其中可以有支持各个不同架构GPU的fabin码嵌入在host程序中 ?)

cuda程序默认是被整体编译的,即设备端代码(C++文件对外暴露的函数和变量等)无法在另外一个文件中被引用。在整体编译模式下,设备代码的链接步长是无影响的。有关整体编译和分开编译,可以参考第6章节。

CUDA编译原理如下:

 

关于作者:

犇叔,浙江大学计算机科学与技术专业,研究生毕业,而立有余。先后在华为、阿里巴巴和字节跳动,从事技术研发工作,资深研发专家。主要研究领域包括虚拟化、分布式技术和存储系统(包括CPU与计算、GPU异构计算、分布式块存储、分布式数据库等领域)、高性能RDMA网络协议和数据中心应用、Linux内核等方向。

专业方向爱好:数学、科学技术应用

关注犇叔,期望为您带来更多科研领域的知识和产业应用。

内容坚持原创,坚持干货有料。坚持长期创作,关注犇叔不迷路

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

敩科炼技堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值