CUDA的存储器结构

CUDA的存储器结构

因为写博客主要想记录比较感兴趣的点，所以可能顺序不那么通常、、通畅。

1. 共享内存 shared memory

CUDA C有共享内存（shared memory），它的关键字是__share__。添加了该关键字的变量表明该变量是一个共享变量。

共享内存被一个线程块内的所有线程共享，块内线程可以修改它的值，它的生命周期和它所在的线程块一样。

因为共享内存的缓冲区在物理GPU上，而不是GPU外的系统内存上，所以访问共享内存的延迟要低于访问普通缓冲区的延迟，也就是使用共享内存可以提速。

使用shared memory时，需要注意线程的同步问题。当所有线程都进行完了对共享内存的某一操作后（比如写操作），才能执行后面的语句（比如从共享内存读取数据），否则结果会出错。所以需要将线程同步，让快的线程等一下慢的。线程同步可以使用__syncthreads()语句。

先放一段《cudy by example》的矢量求和来看一下共享内存的使用：

__global__ void dot(float *a,