cache存储器

1. cache的功能

cache是一种高速缓冲存储器，是为了解决CPU和主存之间速度不匹配而采用的一环重要技术。其原理基于程序运行中具有的空间局部性和时间局部性特征。

☞ cache是介于CPU和主存M₂之间的小容量存储器，但存取速度比主要快，容量远小于主存。cache能高速地向CPU提供指令和数据，从而加快了程序的执行起度。从功能上看，它是主存的缓冲存储器，由高速的SRAM组成。为追求高速，包括管理在内的全部功能由硬件实现，因而对程序员是透明。

当前，随着半导体器件集成度的进一步提高，可以将小容量的cache与CPU集成到同一芯片中，其工作速度接近于CPU的速度，从而组成两级以上的cache系统。

 2. cache的基本原理

☞地址映射

☞替换策略

☞写一致性

☞性能评价

cache除包含SRAM外，还要有控制逻辑。若cache在CPU芯片外，它的控制逻辑一般与主存控制逻辑合成在一起，称为主存/chace控制器；若cache在CPU内，则由CPU提供它的控制逻辑。

CPU与cache之间的数据交换是以字为单位，而cache与主存之间的数据交换是以块为单位。一个块由若干字组成，是定长的。当CPU读取内存中一个字时，便发出此字的内存地址到cache和主存。此时cache控制逻辑依据地址判断此字当前是否在cache中:若是,则cache命中,此字立即传送给CPU;若非,则cache缺失(未命中),用主存读周期把此字从主存读出送到CPU，与此同时，把含有这个字的整个数据块从主存读出送到cache中。

cache的原理图：

 

假设cache 图3.29 cache原理图读出时间为50ns，主存读出时间为250ns。存储系统是模块化的，主存中每个8K模块和容量16字的cache相联系。cache分为4行,每行4个字(W)。分配给cache的地址存放在一个相联存储器CAM中，它是按内容寻址的存储器。当CPU执行访存指令时，就把所要访问的字的地址送到CAM；如果W不在cache中，则将W从主存传送到CPU。与此同时，把包含W的由前后相继的4个字所组成的一行数据送入cache，替换原来cache中的一行数据。在这里，由始终管理cache使用情况的硬件逻辑电路来实现替换算法。

3. cache的命中率

从CPU来看，增加cache的目的，就是在性能上使主存的平均读出时间尽可能接近cache的读出时间。为了达到这个目的，在所有的存储器访问中由cache满足CPU需要的部分应占很高的比例，即cache的命中率应接近于1。由于程序访问的局部性，实现这个目标是可能的。 

在一个程序执行期间，设Nc表示cache完成存取的总次数，Nₘ表示主存完成存取的总次数，h定义为命中率，则有

   ☞h=Nc/(Nc+Nm)

若tc表示命中时的cache访问时间，tₘ表示未命中时的主存访问时间，1-h表示未命中率(缺失率)，则cache/主存系统的平均访问时间tₐ 为

  ☞ta=htc+(1−h)tm

我们追求的目标是，以较小的硬件代价使cache/主存系统的平均访问时间tₐ 越接近tₑ越好。设r=tm/tc 表示主存与cache的访问时间之比，e表示访问效率，则有

e=tc/ta=tc/(htc+(1−h)tm)=1/(h+(1−h)r)

=1/(r+(1−r)h)

☞注：为提高访问效率，命中率h越接近1越好。r值以5~10为宜，不宜太大。

命中率h与程序的行为、cache的容量、组织方式、块的大小有关。 

例3.4】 CPU执行一段程序时， cache完成存取的次数为1900次，主存完成存取的次数为100次,已知cache存取周期为50ns,主存存取周期为250ns,求cache/主存系统的效率和平均访问时间。

解 ：h=Nc/(Nc+Nm)=1900/(1900+100)=0.95

r=tm/tc=250ms/50ms=5

e=1/(r+(1−r)h)=1/(5+(1−5)×0.95)=83.3%

ta=tc/e=50ns/0.833=60ns

4. cache结构设计必须解决的问题

从cache的基本工作原理可以看出， cache的设计需要遵循两个原则：

一是希望cache的命中率尽可能高，实际应接近于1；

二是希望cache对CPU而言是透明的，即不论是否有cache， CPU访存的方法都是一样的，软件不需增加任何指令就可以访问cache。

解决了命中率和透明性问题，就CPU访存的角度而言，内存将具有主存的容量和接近cache的速度。为此，必须增加一定的硬件电路完成控制功能，即cache控制器。

在设计cache结构时，必须解决几个问题：

①主存的内容调入cache时如何存放?

②违存时如何找到cache中的信息?

③当cache空间不足时如何替换cache中已有的内容?

④需要写操作时如何改写cache的内容？

其中，前两个问题是相互关联的，即如何将主存信息定位在cache中，如何将主存地址变换为cache地址。与主存容量相比， cache的容量很小，它保存的内容只是主存内容的一个子集，且cache与主存的数据交换是以块为单位。为了把主存块放到cache中，必须应用某种方法把主存地址定位到cache中，称为地址映射。“映射”一词的物理含义是确定位置的对应关系，并用硬件来实现。这样当CPU访问存储器时，它所给出的一个字的内存地址会自动变换成cache的地址，即cache地址变换。 

最后一个问题涉及cache的写操作策略，重点是在更新时保持主存与cache的一致性。

☞ cache替换问题主要是选择和执行替换算法，以便在cache不命中时替换cache中的内容。