CUDA（Compute Unified Device Architecture）

A Performance Model for GPU Architectures that Considers On-chip Resources:Application to Medical Image Registration-Junhao wu

1.CUDA（Compute Unified Device Architecture），是NVIDIA推出的运算平台。是一种通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。 开发人员可以使用C语言来为CUDA™架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。CUDA3.0已经开始支持C++和FORTRAN。

2.GPU中有多个SM(Streaming Multiprocessor串流多处理器)，SM中有多个SP(Streaming Processor流处理器)，一个SM会负责多个ThreadBlock(线程块)的计算任务，一般为8个。每个SP一个时刻负责一个thread；

硬件层面，SM中有shared memory, register, L1 cache，因此ThreadBlock内可以共享shared memory，单独的thread拥有自己的Local memory(先被分配到register中，如果register不够就分配到global memory中)；

Warp是SM调度和执行的基本单位。SIMT机制使得同一个Warp里的线程根据不同的DATA执行相同的指令。一个SM，一次只能运算一个Block里的一组Warp，如果warp中有线程的DATA没有取到，那么调度下一下warp运算。
Half-Warp是SM存储操作的基本单位。它和coalescing访问global memory息息相关。

3.

thread：一个CUDA的并行程序会被以许多个threads来执行。
block：数个threads会被群组成一个block，同一个block中的threads可以同步，也可以通过shared memory通信。
grid：多个blocks则会再构成grid。

4.理解CUDA中的thread,block,grid和warp - 知乎