全局内存
GPU全局内存,CPU和GPU都可以进行读写操作。任何设备都可以通过PCI-E总线对其进行访问,GPU之间不通过CPU,直接将数据从一块GPU卡上的数据传输到另一块GPU上。
点对点的特性实在DUDA4.x SDK中引入。只对特定平台进行支持(特斯拉硬件通过TCC驱动模型能够支持windows7和windows Vista平台,对于linux或windowsXP平台,消费机GPU卡和特斯拉卡都支持)。
CPU主机端处理器可以通过以下三种方式对GPU上的内存进行访问:
- 显式地阻塞传输;
- 显式地非阻塞传输;
- 隐式地使用零拷贝内存复制。
一旦数据进入到GPU,主要问题就成了如何在GPU中进行高效访问。通过创建一个每十次计算只需一次访存的模式,内存延迟能明显的被隐藏,但前提是对全局内存的访问必须是以合并的方式进行访问。
对全局内存的访问是否满足合并访问条件是对CUDA程序性能影响最明显的因素之一。
合并访问–全局存储器访问优化
所有线程访问连续的对齐的内存块。
如果我们对内存进行一对一连续对齐访问,则每个线程的访问地址可以合并起来,只需一次存储食物即可解决问题。假设我们访问一个单精度或者整型值,每个线程将访问一个4字节的内存块。内存会基于线程束的方式进行合并(老式的G80硬件上使用半个线程束),也就是说访问一次内存将得到32*4=128个字节的数据。
合并大小支持32字节、64字节、128字节,分贝标识线程束中每个线程一个字节、16位以及32位为单位读取数据,但前提是访问必须连续,并且以32字节位基准对其。
将标准的cudaMalloc