根据机械原理,较大的存储设备要比比较小的存储设备运行比较慢,而快速设备的造价远比一些同类的低速设备高。在一个典型的系统上的磁盘驱动器可能比主存大1000多倍。但是对处理器而言,从磁盘驱动器上读取一个字的时间开销要比从主存读取的开销大1000万倍。
一个典型的寄存器文件只存储几百个字节的信息,而主存里面可以存放几十亿字节。然而,处理器从寄存器文件中读取数据比从主存中读取几乎要快100倍。更麻烦的是,随着这些年半导体技术的进步,这种处理器和主存之间的差距还在持续增大。加快了处理器的处理速度比加快主存的速度要容易得多和便宜得多。
针对处理器和主存之间的差异,系统设计者采用了更小更快的存储设备,称为高速缓存存储器,作为暂时的集结区域,存放处理器近期可能需要到的信息。
高速缓存存储器存在的应用程序能够利用高速缓存将程序的性能提高一个数量级。