GPU存储系统

一、概述

物理概念：SP、Warp和SM的关系

一个SM由多个Warp组成，一个Warp由多个SP组成。

1. Streaming Processor(SP): 最基本的处理单元。一个SP对应一个thread。
2. Warp：最基本的执行单元。Warp是SM调度和执行的基础概念，一个SM中的SP(Thread)会分成几个warp。
3. Streaming Multiprocessor(SM):多个sp加上其他的一些资源组成一个SM。其他资源也就是存储资源，共享内存，寄储器等。可见，一个SM中的所有SP是先分成warp的，是共享同一个memory和instruction unit。

逻辑概念：Thread、Block和Grid的关系

一个Grid由多个Block组成，一个block由多个Thread组成。

Grid可以是二维结构、也可以是三维结构。
二维结构：