AI加速（四）| 衣柜般的分层存储设计

大家好啊，我是董董灿。

先说一个我今天早晨的事儿。

7点起来晨跑，突然发现已经到深秋了，凉飕飕的，感觉是时候换一波秋冬的衣服了。于是开始翻箱倒柜，花了好大一会儿，终于在衣柜的最深处，找到了去年冬季跑步的衣服，口袋里还装着去年的口罩。

找到衣服之后，我突然盯着衣柜看了半天，发现：衣柜的设计确实是很讲究，只可惜我没用好，才导致费了九牛二虎之力才找到了衣服。

衣柜讲究的设计

—— 最经常穿的衣服，应该是要用衣架撑好挂在衣柜横杆上的，方便随时取用；

—— 不经常穿的衣服，比如非当季的衣服，应该是要叠好放在最底层的柜子里，让他过冬。

这种明显的功能区域划分，可以让我在需要某件衣服的时候，方便快捷的找到。这就和今天文章的主角——存储器有点像了。

不知道是不是所有带有存储性质的产品都有类似的分层划分。但我知道，存储器这种储存数据和指令的东西，有着很明显的分层或分级划分的

存储器的分层设计

之前的一篇文章AI加速（二）| 计算机存储和计算的分离说到，在计算机系统中，计算单元和存储器是分离的。而实际上，在计算机中，单看存储器，也是会分成很多层级。

存储器最常见的就是内存。在买手机时，我们一定会关注一个参数，那就是内存大小。内存越大，手机可以存储的数据就越多，运行起来也就越流畅，手机性能就越好。

但是在一个计算系统中，除了内存，还有其他的存储。下图是一个典型的存储器划分示意图。示意图越往上，代表存储器越靠近计算单元，其容量越小，相对造价就越高。

这也是为什么，在计算机系统中，单位存储的内存价格很高，而外存（如硬盘）相对较为便宜。

| 磁盘

是离CPU最远的存储器。一般作为硬件外设存在。包括我们常见的硬盘、U盘等存储外设。磁盘的读写速度相比其他存储器慢，但是容量大，价格便宜。这个就相当于衣柜的最底层，存放着不经常穿的衣服（数据），像是一个大仓库。

| 主存

可以理解为电脑的内存条，用来存放程序运行时的指令和数据。程序运行时操作系统需要将程序和数据加载到内存中，它就相当于衣柜中搭衣服的横杆，随取随用。

| 高速缓存（Cache）

是比主存离CPU更近的一级存储，他会把程序需要的指令或者数据预先加载进来，在CPU进行运算时，会首先在缓存中查找数据或指令，如果找不到，就在去主存中寻找，找不到去主存中寻找的过程一般称为Cache Miss。

预先加载怎么理解呢？打个比方，我们在冬天肯定有经常要穿的2-3件衣服，但不会每次衣服脏了都放回衣柜中，而是洗完放在阳台晾衣架上，这2-3件衣服轮换穿。CPU也是这样，它会频繁的从高速缓存中存取数据，找不到了，再去内存中找，就好像阳台上没衣服了，再去衣柜里找一样。

| 寄存器（Register）

是CPU最近的存储器。用来存放程序运行时需要的指令、地址、立即数等。类比于就是身上正在穿的衣服。

有了这几级存储，在做AI加速时，就可以做很多事情。之前AI加速（三）| 每条指令都是流水线的工人 说过，由于计算和存储是分离的，那么可以将计算和存储指令排流水，实现性能的加速。

同样，如果存储也有分层设计，并且开放给程序员的话，那么，单独的存储指令也可以进行流水设计，从而在带宽不变的前提下，提高数据的吞吐和程序的性能。

GPU就是这么做的。

熟悉GPU硬件架构的同学可能知道，GPU的编程模型中有DDR（显存，也就是最外层存储，可类比硬盘），Shared Memory(共享内存），当然还有其他的存储。

单说 DDR 和 shared memory（SM）这两级存储，就可以排流水。比如——

上表中每一行代表同一时刻，看不懂没关系，只需要知道在同一时刻，程序可以同时将数据从DDR load 到 SM（左侧的一例） 以及在SM上进行计算（右侧的一列）即可。这样就相当于在流水线上有两个工人一起工作，从而提高了性能。

总结

存储器的分层设计，一个好处之一就是，程序员可以通过编写存储指令（包括将数据从外存搬运到内存的 load 指令，将数据从内存加载到片上计算的 move 指令等），从而完成流水的排布。

当然，存储器的分层设计肯定不单是这个原因，就不展开了。

那么问题来了，这篇文章和AI加速有什么关系呢？

其实，存储器作为一个偏计算机底层的部件，是根本不关心上层应用是什么的。我们可以让计算机进行AI计算，来完成AI加速，也可以让计算机运行一个游戏，完成游戏加速。

只要了解了存储器的原理，不论是AI加速还是游戏加速，都能做到性能很好。

政治基础决定上层建筑。——

而且只要硬件支持指令流水级，并且编译器做的足够好，甚至都不需要程序员手动去排流水（手写汇编确实太枯燥了）就能自动实现。从而完成对于AI算法的加速计算，这一点对于编译器的要求很高，后面再介绍。

AI加速（一）| 游戏光追！比特币挖矿！AI计算！GPU为什么这么牛？_董董灿是个攻城狮的博客-CSDN博客

AI加速（二）| 计算机存储和计算的分离_董董灿是个攻城狮的博客-CSDN博客

AI加速（三）| 每条指令都是流水线的工人_董董灿是个攻城狮的博客-CSDN博客

AI加速（三）| 每条指令都是流水线的工人_董董灿是个攻城狮的博客-CSDN博客


 

---

v v v v v v

**本文为作者原创，请勿转载，转载请联系作者。**
**点击下方卡片，关注我的公众号，有最新的文章和项目动态。**

v v v v v v