CUDA 学习（十三）、全局内存

一、概述

       GPU的全局内存之所以是全局的，主要是因为GPU与CPU都可以对它进行写操作。任何设备都可以通过PCI-E总线对其进行访问。GPU之间不通过CPU，直接将数据从一块GPU卡上的数据传输到另一个GPU卡上。

        CPU主机端处理器可以通过以下三种方式对GPU上的内存进行访问：

       （1）显式地阻塞传输

       （2）显式地非阻塞传输

       （3）隐式的使用零内存复制。

       GPU 的内存位于PCI-E 总线的另一端。PCI-E 总线是双向总线，理论上，每个方向的带宽最高可达8GB/s，但实际上通常只有4GB/s~5GB/s。

      通常的执行模型是CPU将一个数据块传输到GPU，GPU内核对其进行处理，然后再由CPU将数据块传输回主机端内存中。