内存 cpu 显存 GPU

1. 内存和CPU的关系:

下面，我们打一个比方，类比内存和CPU的工作关系。
如果说把硬盘比喻成一个大仓库，

CPU比喻成加工车间，

那么内存就是一个临时的小仓库。

从距离上来说， 相比内存到CPU的距离和硬盘到内存的距离，内存和CPU的距离更短。
硬盘（大仓库）用来保存车间需要用的原料和最终生产出来的商品。仓库太大，取出原料和存储商品太慢，耗时间。
内存（临时小仓库）：原料会先放到这里，小仓库，可以很快的找到需要的原料或商品。
CPU（车间）：从内存（小仓库）里拿到原料，生产商品。中间会有半成品，半成品可以放在内存（小仓库）里。
以这种方式，车间的生产速度就会提高。
--------------------- 
原文：https://blog.csdn.net/Hello_Sue/article/details/79462836 

 

2. 显存与GPU的关系

**显存和GPU的关系：类似于内存和CPU。

**GPU 与显卡的关系：**GPU是显卡的最主要部件！是显卡的心脏、大脑！

显卡是由gpu（图像处理器）+显存+PVC版+金手指+挡板+接口+电容电阻等元件+散热器共同组成的，因为gpu最重要，所以约定俗成GPU往往是显卡的代名词。

**显卡的类别

显卡可分为两类：一类是集成显卡，一类是独立显卡

集成显卡不带显存，而是使用系统的一部分主内存作为显存，具体的数量一般是系统根据需要自动动态调整的。

独立显卡带显存，不占用系统内存 

在神经网络训练中:

显存占用 = 模型每层output的显存占用 (与batch_size相关)+ 模型参数的显存占用 + 反向传播时的梯度

显存是用来存数据, GPU是用来计算! 所以显存占用和GPU占用不是一回事!

GPU具有如下特点：

1 、提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算。

并行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。

2、 拥有更高的访存速度。

3、更高的浮点运算能力(FLOPs)。浮点运算能力是关系到处理器的多媒体、3D图形处理的一个重要指标。现在的计算机技术中，由于大量多媒体技术的应用，浮点数的计算大大增加了，比如3D图形的渲染等工作，因此浮点运算的能力是考察处理器计算能力的重要指标。

 

3. CPU与GPU

1）CPU有强大的ALU（算术运算单元）

2）大的缓存（可降低延时，保存很多的数据在缓存里，当需要访问的这些数据，只要在之前访问过的，直接在缓存里面取即可。）

3）有复杂的逻辑控制单元

GPU是基于大的吞吐量设计。GPU的特点是有很多的ALU（绿色）和很少的cache. cache的目的不是保存后面需要访问的数据的，这点和CPU不同，而是为thread提高服务的。

如果有很多线程需要访问同一个相同的数据，缓存会合并这些访问，然后再去访问dram（因为需要访问的数据保存在dram中而不是cache里面），获取数据后cache会转发这个数据给对应的线程，这个时候是数据转发的角色。但是由于需要访问dram，自然会带来延时的问题。
 

GPU的虽然有dram延时，却有非常多的ALU和非常多的thread. 为啦平衡内存延时的问题，我们可以中充分利用多的ALU的特性达到一个非常大的吞吐量的效果。尽可能多的分配多的Threads.

所以与CPU擅长逻辑控制，串行的运算。和通用类型数据运算不同，GPU擅长的是大规模并发计算，这也正是密码破解等所需要的。所以GPU除了图像处理，也越来越多的参与到计算当中来。

 

4. CUDA

cuda是NVIDIA公司设计的专门针对自家芯片的通用并行计算架构。通过CUDA显卡可以用来进行并行运算