在处理器和一个较大较慢的设备(比如一个主存)之间插入一个更快更小的存储设备(例如高速缓存)的做法已经成为一个常见的做法。实际上,每个计算机系统的存储设备都组织成一个存储器的层次结构。在这个层次结构里面,从上到下,设备的访问速度越来越慢,容量越来越大,并且每个字节的造价也越来越便宜。寄存器文件在层次结构中位于最顶部,也就是0级。
存储器层次结构的主要思想是上一层的存储器作为第一层存储器的高速缓存。因此在这个分布式无内件系统的网络系统中,本地磁盘就是存储在其他系统中磁盘上的数据的高速缓存。
如同运用不同的高速缓存的只是来提高程序性能一样,程序员同样可以利用对整个存储器层次结构的理解来提高程序性能。