GPU硬件结构和编程模型(源于nvidia的CUDA文档)

GPU的硬件结构

GPU通过一个可扩展的多线程流式多处理器(SMs)构建。一个multiprocessor可以在同一时间处理上百个线程。为了管理这些线程，使用一个特殊的结构SIMT。利用单线程中指令级的并行，以及同步硬件多线程实现的广泛线程级并行性。

SIMT Architecture

warps：32个并行线程组。

组成warps的独立线程在同一个程序地址同时启动，但是他们分别由各自的指令地址计数器和寄存器状态，也因此可以自由的分支和独立执行。意思是，half-warp在一个warp中可以是前一个也可以是后一个。

当multiprocessor给了一个或者多个线程块去执行时，它会将块分成warps，为了执行，每一个warps都可以被warps调度器(warps scheduled)调度。划分warps 的方式是相同，每一个warp中包含一组连续的线程，这些线程我们可以通过线程ID获取，从第一个包含线程ID为0的warps开始，线程ID递增。

在同一时刻，一个warp执行一个共同的指令。当warp中的线程都在同一个执行路径时，效率会完全展现，但是如果warp中的线程因为不同的数据依赖而不得已出现分支，warp会执行每一条分支，但是会禁用不在这条执行路径上的线程。这种分支发散的情况仅仅出现在warp中。注意，不同的warp可以独立执行，不管它们执行的是否是同一个代码指令。

因为SIMT可以指定单个线程的发散和执行，程序员可以写出一个独立的，可以扩展的以及协作线程数据并行的线程级代码。通过独立的线程调度，GPU维护每个线程的执行状态，包括程序计数器和调用堆栈，并可以以每个线程的粒度产生执行，以更好地利用执行资源或允许一个线程等待另一个线程生成数据。调度优化器来确定如何将来自同一个warp的线程组织到SIMT单元中。

Hardware Multithreading

在warp的整个生命周期内，多处理器处理的每个warp的执行上下文（程序计数器、寄存器等）都在芯片上维护。因此，从一个执行上下文切换到另一个执行上下文是没有代价的，并且在每个指令发出时，warp调度器都会选择一个具有准备好执行其下一条指令的线程（warp的活动线程）的warp，并向这些线程发出指令。

对于给定内核，可以驻留在多处理器上并一起处理的块和扭曲的数量取决于内核使用的寄存器和共享内存的数量以及多处理器上可用的寄存器和共享内存的数量。如果multiprocessor没有足够的寄存器或共享内存来处理至少一个块，内核将无法启动。

一个block中warp的数量如下：
$$cei$$