GPU异构计算基础知识

CUDA Toolkit Documentation (nvidia.com)

• host CPU和内存 (host memory)
• Device GPU和显存 (device memory)

SIMT模型与SIMD模型的区别

SIMD(Single Instruction Multi Data，单指令多数据)模型要求同一个向量中的所有元素要在统一的同步组中一起执行，而SIMT则允许属于同一个线程束的多个线程独立执行，这几个线程可以有不同的行为。因此SIMT(Single Instruction Multi Thread)允许线程级并发，也就是在统一线程束下的线程可以同时做不同的事情。

SIMT有SIMD所不具备的三个特征：

1. 每个线程都有自己的指令地址计数器
2. 每个线程都有自己的寄存器状态
3. 每个线程可以有一个独立的执行路径

硬件基础

系统每一bit的输入与输出，包括磁盘、网络控制器、键盘、鼠标、USB设备以及GPU的输入输出，都要通过芯片组。直到最近，芯片组被一分为二：一个是连接大多数外围设备和系统的“南桥”，另一个是包含图形总线(加速图形端口，后被PCIe接口取代)和内存控制器(通过前端总线与内存相连)的“北桥”。

外部数据总线是中央处理器CPU(Central Processing Unit)的一部分，是CPU与外部数据传输的通道。外部数据总线一次可传输二进制数据的位数越大，CPU与外部交换数据的能力越强。

GPU内存控制器总是和GPU集成，它是在一个与CPU内存控制器完全不同的约束集下设计。

CPU的缺陷

CPU 与 GPU 架构的一个主要区别就是 CPU 与 GPU 映射寄存器的方式。 CPU 通过使用寄存器重命名和栈来执行多线程。为了运行个新任务, CPU 需要进行上下文切换,将当前所有寄存器的状态保存到栈(系统内存)上,然后从栈中恢复当前需要执行的新线程上次的执行状态。这些操作通常需要花费上百