[转]分析Cache的运行机制和设计理念
随着双核时代的到来,CPU的Cache越来越受到DIYer的重视。本文吸收了其它高手发表的文章观点,浅谈一下Cache的运行和设计原理。
1. CPU Cache简介
Cache其是就是CPU和内存之间的一个中转站。由于目前CPU的频率(速度)已经大大超过内存,往往CPU会为了读取或存储数据白白浪费几十个时钟周期。这造成了巨大的资源浪费。于是Cache的设计思想被提上日程,几经实验修改后,逐渐形成了我们现在所能够看到的Cache架构。
在现代CPU设计中,设计师们要解决的最主要问题,就是找到一个在CPU和内存之间平衡的均点。Cache作为CPU--->内存的中转站,在其中发挥了巨大的作用。CPU在请求数据或指令时,除了常规的在内存中进行查找外,还会在Cache中进行查找。一旦命中,就可以直接从Cache中读取,节约大量时间。正因为如此,Cache在现代CPU中显得越来越重要。
2. Cache的实现原理
众所周知,Cache属于SRAM(Satic Random Access Memory),它利用晶体管的逻辑开关状态来存取数据。也正因为如此,SRAM内部的电路构造比起常见的DRAM(Dynamic Random Memory)要复杂得多,导致了成本的巨增。这也是SRAM不能普及的一个重要原因。
Cache在计算机存储系统中没有编配固定的地址,这样程序员在写程序时就不用考虑指令是运行在内存中还是Cache中,Cache对于计算机上层来说是完全透明的。
CPU在读取数据时,会首先向内存和Cache都发送一个查找指令。如果所需要的数据在Cache中(命中),则直接从Cache读取数据,以节约时间和资源。CPU对Cache的搜索叫做Tag search,即通过Cache中的CAM(Content Addressed Memory)对希望得到的Tag数据进行搜索。CAM是一种存储芯片,延迟很低,常用于网络设备中用作路由选择。
CPU进行Tag search的过程是这样的:在Cache中数据或指令是以行为单位存储的,一行又包含了很多字。如现在主流的设计是一行包含64Byte。每一行拥有一个Tag。因此,假设CPU需要一个标为Tag 1的行中的数据,它会通过CAM对Cache中的行进行查找,一旦找到相同Tag的行,就对其中的数据进行读取。
在现代计算机中,虽然Cache的容量一直在增涨,但现在桌面处理器中Cache最大的也不过4MB,设计师们是如何保证在这小小的Cache中保存的数据或指令就一定是CPU需要的呢?这就要利用到CPU运行时的两个基本局限性:时间局限性和空间局限性。
所谓时间局限性,是指CPU在某一时刻使用到的数据或指令,在下一时刻也会被重复利用。比如3D游戏中,同一场景会在不同时间被渲染多次,如果在第一次渲染中Cache存储了相关指令、数据,那么在下一次需要重复渲染时,就能够直接从Cache中读取相关内容。
而空间局限性,指的是CPU在读取某一地址的数据时,也有可能会用到该地址附近的数据。也就是说,CPU需要的数据在很多时候是连续的。例如在听歌或看电影时,数据流总是连续的(正常播放状态下)。这样的应用对于CPU来说是很有利的,数据预读取单元也能够发挥最大作用。
Cache正是利用了上述两个局限性,得已实现并工作。设计师们能够充分利用这两个局限,在容量较小的Cache中存入CPU在将来某时刻需要的内容。需要指出的是,很多程序在执行指令或数据时,所呈现出来的局限性是不同的。有可能执行指令的时候呈现出时间局限性,而数据呈现出空间局限性,因此设计师们把L1 Cache分成了Instruction Cache(指令缓存)和Data Cache(数据缓存)。
3. Cache的运行原理
前面已经说过,Cache的数据存储是以行(Line)为单位的,每一行又包含64Byte。行是存储在“框架”(Block frame)这种数据容器中的,而框架则直接与内存相对应。很明显,Cache中可能包含数个框架。那么这些Cache框架是怎么与内存相对应相联系的呢?有三种办法。
第一种方法叫完全相联法。即内存中的数据可以存储在任何Cache框架中,同一数据也可以存储在不同的框架中。这样数据的存储相当灵活,CPU在查找时也很方便:只需在框架中对比找出需要的Tag行,即实现命中,显著的提升了命中率。然而这样做的缺陷也很明显:对于容量较大的Cache来说,CPU需要在成百的框架中查找需要的Tag行,延迟大大增加。因此这种设计方式只适用于容量较小的Cache。
上图来源于穆介的碎碎念
由于完全相联法的这种局限性,设计师们很快提出了另一种旨在降低延迟的组织方式:直接映象法。和完全相联不同,在直接映象中内存会将数据存入的Cache框架地址“记住”,以后再次存储时就只能使用该框架。这样做的好处是使CPU只需要进行一次Tag search,在以后的读取操作中就可以直接找到所需Tag行所在的框架,从而达到降低延迟的目的。
而至于内存会将数据存入Cache的哪个框架中,这有个算法——块地址与整个框架数的同余。我们举个简单的例子来看,有个1K的缓存,块大小为64字节,则总共有16个缓存块,也就是有16个框架,那在内存中首地址为12480的内存块应该保存在缓存的哪个框架中呢?12480/64=195,195mod16=3,则它应该放入第4个框架中。这样一来,内存中的数据能很快的读取到缓存中的某个块中,CPU也能很快的在这个块中找到所要的数据,这样就省下了对比各个框架的时间,自然延迟就小了,但是,如果第4个框架中装入了内存块195的数据,而其它同余依然是3的35,51,67等这些块就不能装入了,这样,当CPU需要35,51,67这些块的时候,就会发生冲突(collision),导致出现Cache miss的情况,大大的降低了命中率。
上图及其算法分析均来源于穆介的碎碎念
直接映象法和完全相联法都只解决了Cache运行问题的一个方面。这以后设计师们又设计了另一种综合前两者优点的方法----路组相联法。先将Cache分成不同的组,每个组中放入不同的框架。内存数据的存储对于组来说是固定的---这就有效控制了延迟。而每个框架中的行又按照完全相联的方法,灵活存储---这又提高了命中率。显然,一组中放入的框架越少,那么它的命中率和延迟都能够控制得越好。组中的框架称为“路”,有几个框架就叫做几路。
上图来自穆介的碎碎念
路组相联法很好的解决了命中率和延迟之间的矛盾,因此在现代Cache中得到广泛的推广应用。
4. Cache的写入策略
前面说了这么多,似乎都在谈Cache的读取,而忘了它的写入是怎么样的?这是因为在一个常见的应用程序中,其50%的指令是与数据存取相关的,而其中又有近30%的指令与读取有关。也就是说,CPU在运行中进行的读取操作频率要远远大于写入操作。所以本文用了大量篇幅来说明Cache的读取,而它的写入则相关简单,依赖于三种写入策略:
写回法:当CPU更新Cache时,并不同时更新内存中的相应数据。这种方法减少了访问内存的次数,缩短了时间。但在保持与内存内容的一致性上存在在隐患,并且使用写回法,必须为每个缓存块设置一个修改位,来反映此块是否被CPU修改过。
全写法:和写回法相反,当Cache数据更新时,也同时更新内存数据。Cache不用设置修改位或相应的判断器。这种方法的好处是,当Cache命中时,由于缓存和内存是同时写入的,所以可以很好的保持缓存和内存内容的一致性,但缺点也很明显,由于每次写入操作都要更新所有的存储体,如果一次有大量的数据要更新,就要占用大量的内存带宽,而内存带宽本来就不宽裕,如果写操作占用太多带宽的话,那主要的读操作就会受到比较大的影响。
写一次法:这是一种基于上面两种方法的写策略,它的特点是,除了第一次更新Cache的时候要同时更新内存,其它时候都和写回法一样,只修改Cache。这就在内存一致性和延迟中找到了一个较好的平衡。
5. Cache的替换策略
所谓替换策略,是指Cache中数据的更新方法。无论如何,Cache的容量还是比较小的。要保证在这样的容量下其中的数据是CPU需要的,就需要不停地对Cache进行更新,摈弃不需要的旧数据,加入新内容。
目前常见的Cache替换策略有三种,分别是:
先进先出(First In First Out,FIFO),即替换最早进入Cache的数据。这种算法在早期的Cache里使用较多,那时候的Cache的容量还很小,数据在Cache的时间都不会太久,经常是CPU一用完就不得不被替换下来,以保证CPU所需要的其它数据能在Cache中找到。但这样命中率也会降低,因为这种算法所依据的条件是数据在Cache中的时间,而不是其在Cache中的使用情况。
最不经常使用(Least Frequency Used,LFU),即替换被CPU访问次数最少的行。LFU算法是将每个行设置计数器,起始为0,每被CPU访问一次,就加1,当需要替换时,找到那个计数最小的替换出来,同时将其它行的计数置0。这种算法利用了时间局限性原理,但是每次替换完都把其它行置0,使得把这种局限性的时间限定在了两次替换之间的时间间隔内。由于替换太频繁,让这时间间隔太短了,并不能完全反映出CPU近期的访问情况。
近期最少使用(Least Recently Used,LRU),即替换在近段时间里,被CPU访问次数最少的行,它是LFU的拓宽版本。其原理是在每个行中设置一个计数器,哪一行被CPU访问,则这行置0,其它增1,在一段时间内,如此循环,待到要替换时,把计数值最大的替换出去。这种算法相当于延长了替换时间,从而更能本质地反应行的使用情况。有一点要说明的是,有时候行被替换出,并不代表它一定用不到了,而是Cache容量不够了。这种算法是目前最优秀的,大部分的Cache的替换策略都采用这种算法。
6. 实例分析---NetBurst与K7/8 Cache设计上的一些异同
之所以拿Intel放弃的NetBurst架构而非现在最新的Core架构来做比较,是因为我觉得NetBurst中的Cache设计十分先进,在一定呈度上代表了未来的发展趋势。虽然这次实验失败了,但还是可以拿出来做一些简单的分析。
用CPU-Z等软件来查看NetBurst架构P4的信息,会发现其L1和其它CPU有些不一样。它没有了以前的“Instruction Cache”,取而代之的是一个称为“Trace Cache”的东西。并且其容量也不再是KByte,而是μOps。这是怎么回事呢?
先来看看CPU运行程序时的基本操作流程:首先CPU会根据IPR(Instruction Pointer Rigster)提供的地址取得指令,然后对指令进行解码,得出操作地址数和操作码。再由操作地址数获得操作数,并由ALU结合操作码计算出操作数,最后保存在寄存器中。这其中最为复杂的就是解码操作。现代CPU为了提高指令执行效率,借签了RISC的设计理念,将不同的X86指令解码为长短统一、内容简单的微指令并以超标量的方式执行。
在以前的CPU设计中,一般是等到CPU需要执行某指令时,才对其进行解码。在引入了分支预测后,就可以预先读取CPU可能用到的指令,并解码,以备CPU需要时直接调用。这就是Trace Cache的作用。它可以将分支预测得到的X86指令事先解码为微指令并存储在一个被称为回溯片断(trace segment)的逻辑组中,并且这些解码后的指令非常灵活,它能够在进入trace segment前决定是否直接进入流水线来执行。当trace segment中的微操作指令执行后,trace cache就会马上变成“执行模式(execute mode)”,这种模式下,微指令就会依据预测时的顺序来被CPU提取,并执行。这样一来,Trace cache存储的指令就是CPU可以直接执行的微操作,并且由于是存放在L1中,使得CPU每次需要时都可以马上取得译码好的微指令,再加上超低的延迟可以让CPU执行频率迅速增大,使CPU的主频达到前所未有的高度。还有一个重要的好处就是可以让CPU本身的X86解码单元减少,简化CPU结构。总的来说,Trace Cache引入的最终目的就是为了减少X86指令解码器,缓解长流水线出现预测失误所带来的性能损失,并代替原始的L1指令缓存。
由于Intel一直没有公布Trace Cache的具体大小,只是透露其可以装入12条微指令,因此其单位是12μOps。
然而,这种大胆的Cache设计最大的弊端在于,一旦分支预测出现错误,后果将是极其严重的。因此Intel希望借助于较大的L2来缓减预测出错引起的性能损失,这就要求L2拥有极高的命中率。因此Intel在NetBurst架构中采用了8路组相联(其命中率可以达到完全相联的水平),容量为2MB的L2,并提供256b带宽,以确保其低延迟。但从实际效果来看,显然由于流水线级别的增加给分支预测带来了不可估计的难度,即使有2MB L2坐镇,也难保P4的“高频低能”。
对于K7/K8来说,其Cache设计同Intel也有相似之处。AMD历来重视L1,64K Ins+64K Dat,2路组相联的设计让AMD拥有高命中率和低延迟的L1。然而在Instrution Cache中AMD的设计思路又与其它CPU有所不同。首先其Ins中并不存储传统的X86指令,而是存储着分支预测出来的X86指令的信息。再根据这些信息将指令解码成1~2条“宏操作”来执行。由于AMD CPU采用了3条流水线的超标量结构,因此其可以保证同时执行6条这样的宏操作。显然,相比之下AMD CPU的指令执行效率要优于Intel,因此就可以解释为什么AMD 2.4G可以打败Intel 3.2G了。然而从这样的L1设计来看,似乎和Intel有些异曲同工之妙。
对于L2,AMD历来只有很少的256K或512K。这是由于AMD的Cache设计思想所致。在一般的Cache中,下级Cache总是要保留一个上级Cache的映象,即L1中的数据在L2中也能够找到。L2在L3中能够找到相同数据。然而AMD并没有这样做,它的L2中保存的数据都是L1中替换下来的,以保证CPU在下次使用中能够在L2中找到。因此,AMD的Cache结构呈现出L1+L2的“怪异”现像,它的L2对于整体性能并不起决定性作用。Sempron 2600+(128K L2)同2800+(256K L2)性能相同,就是这个原因。
[转]分析Cache的运行机制和设计理念
最新推荐文章于 2024-08-14 11:57:07 发布