爱吃花生的晃晃

共享内存实际上是可受用户控制的一级缓存。每个SM中的一级缓存与共享内存共享一个64KB的内存段在开普勒架构的设备中，根据应用程序的需要，每个线程块可以配置为16KB的一级缓存或共享内存。而在费米架构的设备中，可以根据喜好选择16KB或者48KB的一级缓存或者共享内存。早期费米架构中只有固定的16KB共享内存而没有一级缓存。共享内存的延迟极低，大约有1.5TB/s的带宽，远远高于全局内存的190GB

由于项目的需要，近期开始学习CUDA。CUDA(Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台。 它是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 其包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。 开发人员现在可以使用C语言来为CUDA架构编写程序，C语言是应用最广泛的

在前面的例子中，只是简单的介绍如何在GPU中执行GPU代码，减少了核函数及CUDA的一些接口函数，并未涉及到并行计算的概念。这次总结一下CUDA是如何做并行计算的吧，我们还是举简单的例子，以两个向量相加来解释线程(thread)是如何运行的吧。