在简单模型中,存储器系统是一个线性的字节数组,而cpu能够在一个常数时间内访问每个存储器位置。
实际上,存储器系统是一个具有不同容量、成本和访问时间的存储设备的层次结构。
存储器层次结构是可行的。整体效果是一个大的存储器池,其成本与层次结构底层最便宜的存储设备相当,但是却以接近于层次结构顶部存储设备的高速率向程序提供数据。
计算机系统中一个基本而持久的思想:如果你理解了系统是如何将数据在存储器层次结构中上下移动的,那么你就可以编写你的应用程序,使得它们的数据项存储在层次结构较高的地方,在那里cpu能更快的访问它们。
这个思想围绕着计算机程序的一个称为局部性的基本属性。
在本章中,我们会看看基本的存储技术,并描述它们是如何被组织成层次结构的。
6.1 存储技术
随机访问存储器分为两类:静态,动态。SRAM比DRAM更快,更贵。SRAM作为高速缓存存储器。DRAM作为主存。
SRAM将每个位存储在一个双稳态存储单元里。只要有电,它就保持他的值。
DRAM将每个位存储为对一个电容的充电。DRAM单元在10-100ms内失去电荷,所以需要刷新或者其他的方法保证数据正确性。
DRAM表示一般写成N*W,w是一个单元的位数,N是单元数。本身称这个单元是超单元。然后N又表示为r*c,这样的表示是寻址的时候地址引脚不会太多,比如N=16,就要4个引脚。4*4的话,4需要两个引脚。但是这种二维阵列组织有个缺点:两步发送地址,增加了访问时间。
DRAM的增强型有:FPM DRAM,EDO DRAM,SDRAM,DDR SDRAM(DDR,DDR2,DDR3),Random DRAM,VRAM。
PC使用的DRAM历史:95之前FPM,96-99EDO,-02SDRAM和DDR,-10DDR3。
非易失性存储器,SRAM和DRAM都是易失的。
ROM称为只读存储器是历史原因,很多ROM都是可写的。ROM的分类是以它们能够被重编程(写)的次数和对他们进行重编程的机制来划分的。
ROM包括:PROM,EPROM,EEPROM,闪存(基于EEPROM)。
存储在ROM设备中的程序通常称为固件。
总线事物:读事物——从主存传送数据到cpu,写事物——从cpu传送数据到内存。
磁盘是广为应用的保存大量数据的存储设备:盘片,表面,主轴,RPM,磁道,扇区,柱面。
对于SRAM和DRAM,KMGT通常是1024为基,但对于磁盘,KMGT以1000为基。
像图形卡,监视器,鼠标,键盘和磁盘这样的I/O设备,都是通过I/O总线(PCI)连接到cpu和主存的。
系统总线和存储器总线是与cpu总线相关的,但pci这样的总线和底层cpu无关。
I/O总线总是比系统总线和存储器总线慢,但是它可以容纳种类繁多的第三方I/O设备。主机总线适配器将一个或多个磁盘连接到I/O总线,最常用的是SCSI和SATA,前者更贵,更快。
cpu使用一种称为存储器映射I/O的技术,在使用该技术的系统中,地址空间中有一块地址是为与I/O设备通信保留的。每个这样的地址称为一个I/O端口。当一个设备连接到总线上时,它与一个或多个端口相联系。
cpu从磁盘读数据时发生的步骤:cpu通过将命令、逻辑块号和目的存储器地址写到与磁盘相关联的存储器映射地址,发起一个磁盘读;磁盘控制器读扇区,并执行到主存的DMA传送;DMA传送完成时,磁盘控制器用中断的方式通知CPU。
现代磁盘将他们的构造呈现为一个简单的视图,一个B个扇区大小的逻辑块序列。磁盘控制器维护着逻辑块号和实际(物理)磁盘扇区之间的映射关系。这里看到,逻辑块对应扇区。
SSD包,由一个或多个闪存芯片和闪存翻译层组成。
存储器和磁盘技术的一个基本事实:增加密度比降低访问时间更容易。
DRAM和磁盘的性能滞后于cpu的性能。现代计算机频繁的使用基于SRAM的高速缓存,试图弥补处理器-存储器之间的差距。这种方法可行是因为应用程序的局部性。
6.2 局部性
一个编写良好的计算机程序尝尝具有良好的局部性。也就是说,他们倾向于引用临近于其他最近引用过的数据项的数据项,或者最近引用过的数据项本身。
这种倾向性,被称为局部性原理,是一个持久的概念,对硬件和软件系统的设计和性能都有着极大的影响。
局部性通常有两种不同的形式:时间局部性和空间局部性。
两者的区别在于时间对的是一个存储器位置,空间对的是附近的存储器位置。
被引用过一次的存储器位置很可能在不远的将来再被多次引用——时间。一个存储器位置被引用了一次,那么程序很可能在不远的将来引用附近的一个存储器位置——空间。
对于空间局部性,步长为1的引用模式称为顺序引用模式,这种模式具有最好的空间局部性,如数组,一个一个的顺序访问具有最好的空间局部性。
多维数组,按照行优先顺序,具有最好的空间局部性。
量化评价一个程序中局部性的简单原则:
- 重复引用同一个变量的程序有良好的时间局部性。
- 对于具有步长为k的引用模式的程序,步长越小,空间局部性越好。具有步长为1的引用模式的程序有很好的空间局部性。
- 对于取指令来说,循环有好的时间和空间局部性。循环体越小,循环迭代次数越多,局部性越好。
6.3 存储器层次结构
存储器层次结构是组织存储器系统的方法,人想的,现在所有的计算机系统都使用了这种方法。
一般而言,高速缓存是一个小而快速的存储器设备,它作为存储在更大,也更慢的设备中的数据对象的缓冲区域。使用高速缓存的过程称为缓存。
存储器层次结构的中心思想是:对于每个k,位于k层的更快更小的存储设备作为位于k+1层的更大更慢的存储设备的缓存。
也就是说层次结构的每一层都缓存来自较低一层的数据对象。
这里必须强调一下,这也就是说数据时不可以越级的吗?
数据总是以块大小为传送单元在第k层和第k+1层之间来回拷贝的。例子:L1和L0的传送是1个字的块,L2和L1之间是8-16个字的块。
一些概念:缓存命中,缓存不命中,牺牲块,替换策略,冷缓存,强制性不命中,冷不命中,放置策略,冲突不命中,容量不命中。
- 编译器管理寄存器文件,缓存层次结构的最高层。
- L1,L2和L3的缓存完全是由内置在缓存中的硬件逻辑来管理的。
- DRAM主存作为存储在磁盘上的数据块得缓存,是由操作系统和cpu上的地址翻译硬件共同管理的。
- AFS这样的分布式文件系统,本地磁盘作为缓存,它是由运行在本地机器上的AFS客户端进程管理的。
概况来说,基于缓存的存储器层次结构行之有效,是因为较慢的存储设备比较快的存储设备更便宜,同时,还因为程序往往展示局部性。
6.4 高速缓存存储器
早期计算机系统的存储器层次结构只有三层:cpu寄存器,DRAM主存,磁盘。随着cpu和主存之间差距的逐渐增加,系统设计者被迫加入了SRAM高速缓存存储器,称为L1/L2/L3高速缓存。
L1通常需要2-4个时钟周期,L2通常需要10个时钟周期,L3通常需要30-40个时钟周期。
高速缓存存储器结构的一些细节:直接映射高速缓存,组相联高速缓存,全相联高速缓存。
高速缓存参数的性能影响:不命中率,命中率,命中时间,不命中处罚。
(这一节,了解一些硬件知识,结构的细节不管了)
6.5 编写高速缓存友好的代码
局部性比较好的程序更容易有较低的不命中率,而不命中率较低的程序往往比不命中率较高的程序运行的更快。
下面就是我们用来确保代码高速缓存友好的基本方法:
让最常见的情况运行得快。程序通常把大部分时间都花在少量的核心函数上,而这些函数通常把大部分时间都花在了少量循环上。
每个循环内部缓存不命中数量最小。(对局部变量的反复引用是好的,步长为1的引用模式是好的)
6.6 综合:高速缓存对程序性能的影响
存储器系统的性能不是一个数字就能描述的,相反,它是一座时间和空间局部性的山,这座山的上升高度差别可以超过一个数量级。明智的程序员会试图构造他们的程序,使得程序运行在山峰而不是低谷。
还是这几项,推荐的技术:
- 将你的注意力集中在内循环上,大部分计算和存储器访问都发生在这里。
- 通过按照数据对象存储在存储器中的顺序、以步长为1的来读数据,从而使得你程序中的空间局部性最大。
- 一旦从存储器中读入了一个数据对象,就尽可能多的使用它,从而使得程序中的时间局部性最大。
6.7 小结
(over)