cuda基础知识

一 基本概念

1 warp

一个Grid可以包括多个SM，也可以访问Global Memory和Constant Memory。

一个Block只能在一个SM中，且一个SM包含多个Block，Block可以访问Shared Memory。

一个Block中有多个Thread，而一个Thread只能访问Registers或local Memory。

从硬件上看

SP(Streaming Processor):流处理器， 是GPU最基本的处理单元，在fermi架构开始被叫做CUDA core。

SM(Streaming MultiProcessor): 一个SM由多个CUDA core组成，**每个SM根据GPU架构不同有不同数量的CUDA core**，Pascal架构中一个SM有128个CUDA core。
SM还包括特殊运算单元(SFU)，共享内存(shared memory)，寄存器文件(Register File)和调度器(Warp Scheduler)等。register和shared memory是稀缺资源，这些有限的资源就使每个SM中active warps有非常严格的限制，也就限制了并行能力。

从软件上看