CUDA nvcc编译步骤简单讲解

如果你想了解 Nvcc 到底搞了什么鬼，究竟 compute_xy sm_xy 区别在哪里， ptx,cudabin 又是怎么嵌套到 exe 里面最终被驱动执行的，这一节正是你想要的知识。他将讲解每一个编译的具体步骤，而且不光是知识，读者可以自己动手操作来体验这一个过程。他的用处不仅在能够对 CUDA 的编译以及工作机制有更深的认识，而且可以进行高级 debug ，比如可以自己手动进行 ptx->cudabin 的步骤等等。

参考： nvcc2.1.pdf 由于水平有限，错误部分欢迎大家留言指出

作者： insky(wenyao2009(at)gmail.com)

主页： www.gamecoding.cn

1. 一个编译例子

随意找一个包含 kernel 以及 kernel 调用的 .cu 文件，如 x.cu 。进入命令行 : 敲打 nvcc –cuda x.cu –keep 将得到如下结果， -cuda 是将 .cu 编译成.cu.cpp ， -keep 保留中间结果。（如果提示找不到 nvcc 请在 path 中添加 %cuda_bin_path% ） 

打开 .cu 文件所在目录（此处是 ptx ） , 你会惊讶的发现多出了一大堆文件，是的，很烦，不过很快你将会喜欢上他们，因为他们把 nvcc 的工作流程完美的记录下来了。好吧，那我们开始吧。

2. Virtual architecture vs GPUfeature

首先定位到文件 x.cu, x.ptx, x.sm_10.cubin 这三个文件上来，他们按照下图流程依次生成， x.cubin,x.ptx 最终会被嵌套到 x.cu.cpp 中。 

Virtual compute architecture 对应 nvcc 的 -arch 编译选项，他的值如下表所示。他的意思 
是 nvcc 将针对哪个类型的 virtual compute architecture 生成 ptx 汇编代码。如果是 compute_10
则 x.cu 中无法使用 atomic 等不支持的操作，否则会出现编译错误。 

Real sm architecture 指的是真实 GPU 的架构，这个选项对应于 nvcc 的 -code 编译选项， 
他可以选的值如下表所示。他的意思是根据此目标 GPU 架构将 x.ptx 编译成 x.cubin ，一般 
来说， Real sm architecture 必须等于或者高于对应的 Virtual compute architecture 。比如： 
Nvcc –cuda x.cu –arch compute_13 –code sm_10 是行不通的。 

到这里，你或许会说 “ 你讲错了吧 ” ， nvcc 的 -arch 选项可以取 sm_13 呢， cudarule 都这么取的，没错，是可以怎么做，因为有些特殊机制的支持：

_ -code 可以有多个值，将生成多个版本的 cubin ，最终全部嵌套在 exe 中，见下节

_ -code 里面可以包含 compute_xy, 对应的 ptx 会被嵌套在 exe 中，见下节

_ 省略 -arch, 则自动选择最接近的

nvcc x.cu –code=sm_13 _ nvcc x.cu –arch=compute_13 –code=sm_13

_ 省略 -code

nvcc x.cu –arch=sm_13 _ nvcc x.cu –arch=compute_13 –code=compute_13 sm_13

nvcc x.cu –arch=compute_10 _ nvcc x.cu –arch=compute_10 –code=compute_10

_ 省略 -arch –code

nvcc x.cu _ nvcc x.cu –arch=compute_10 –code=sm_10

3. cubin ， ptx 是如何组织到 exe 中，又是如何被加载到驱动中去的

好的，现在我们已经能够用 -code –arch 去控制 nvcc 生成对应 virtual or gpu architecture 的 ptx 及 cubin 文件了。接下来我们讲更彻底去了解，这些 ptx, cubin 是怎么集中到 exe 中，又是如何被执行的。打开 x.cu.cpp ，搜索 “ __deviceText_$compute_10$ ” , 找到了吗？没错，这就是 compute_10下的 PTX 代码的二进制形式，接着往下看，你可以找到 “ __deviceText_$sm_10$ ” ，这是 sm_10 下的 cubin 代码。好吧，再接着看吧：

static __cudaFatPtxEntry __ptxEntries []

static __cudaFatCubinEntry __cubinEntries[]

static __cudaFatDebugEntry __debugEntries[]

他们分别是 ptx 数组， cubin 数组以及 debug 数组， {0 ， 0} 结尾的原因不用多说了吧，再找找 __cudaFatPtxEntry 在哪定 义 的吧cuda2.1include__cudaFatFormat.h ，好好的读一下这个文件的说 明 ，你会 长叹 一 声 “ 你 丫 原来 藏 在这里 ” 。 OK ，全文 引 用如下： 

4. 回头来解决剩下的中间文件

其 实 nvcc 只 是个编译 器 驱动，他会调用很多 cuda tools 去完成 各 个编译步骤，最 后 调用

系统 的 c/cpp 编译 器 (cl,gcc) 以及 链 接 器 。他的流程如下图所示：

1 ， cudafe.exe 去分 离 host code, device code ，生成 .gpu 等

2 ， nvopencc( 我想应 该 就是 nvcc.exe 完成的 ) 编译 .gpu 到 .ptx

3 ， ptxas.exe 编译 .ptx 到 .cubin

4 ， fatbin.exe 编译 .cubin 到 .fatbin.c ，最终集 合 到 .cu.cpp 或者 .cu.c 中。