CUDA学习--内存处理之全局内存（5）

1. 全局内存

GPU的全局内存之所以是全局的，主要是因为GPU与CPU都可以对它进行写操作。

CPU主机端处理器可以通过以下三种方式对GPU上的内存进行访问：

• 显示地阻塞传输；
• 显示地非阻塞传输；
• 隐式地使用零内存复制。

通常的执行模型是CPU将一个数据块传输到GPU，GPU内核对其进行处理，然后再由CPU将数据块传输回主机端内存中。比较高级的模型是使用流（参考CUDA学习–CUDA流）将数据传输和内核执行部分重叠，以保证GPU一直在工作。

一旦数据进入GPU，主要问题就成了如何在GPU中对他们高效访问。从计算能力来看，GPU每秒能够执行超过3万亿次浮点运算，但主内存的带宽最高只能达到190GB/s，最低只有25GB/s。如果将内核流水线化，这种存储访问所带来的延迟就可以被隐藏起来，但前提是对全局内存的访问必须是以合并的方式。

所谓合并的访问方式就是所有线程访问连续的对齐的内存块。如果我们对内存进行一对一连续对齐访问，则每个线程的访问地址可合并起来，只需一次存储事务即可解决问题。非对齐的访问则会导致多次内存获取。

因此，为了获得最好的吞吐量，我们需通过对齐并且连续的访问方式，将大量的内存获取请求合并，达到减少内存获取次数的结果。

来看一个例子：如果数据以某种方式交错分布，例如一个结构体，那将会怎么样？

typedef struct
{
    int a;
    int b;