虚拟内存机制

http://blog.csdn.net/zdy0_2004/article/details/44259407

虚拟内存是单机系统最重要的几个底层原理之一，它由底层硬件和操作系统两者软硬件结合来实现，是硬件异常，硬件地址翻译，主存，磁盘文件和内核的完美交互。它主要提供了3个能力：
1. 给所有进程提供一致的地址空间，每个进程都认为自己是在独占使用单机系统的存储资源
2. 保护每个进程的地址空间不被其他进程破坏，隔离了进程的地址访问
3. 根据缓存原理，上层存储是下层存储的缓存，虚拟内存把主存作为磁盘的高速缓存，在主存和磁盘之间根据需要来回传送数据，高效地使用了主存

包括几块内容
1. 虚拟地址和物理地址
2. 页表
3. 地址翻译
4. 虚拟内存相关的数据结构
5. 内存映射

虚拟地址和物理地址
对于每个进程来说，它使用到的都是虚拟地址，每个进程都看到一样的虚拟地址空间,对于32位计算机系统来说，它的虚拟地址空间是 0 - 2^32，也就是0 - 4G。对于64位的计算机系统来说，理论的虚拟地址空间是 0 - 2^64，远高于目前常见的物理内存空间。虚拟地址空间不需要和物理地址空间一样大小。
Linux内核把虚拟地址空间分为两部分: 用户进程空间和内核进程空间，两者的比例一般是3：1，比如4G的虚拟地址空间，3G用户用户进程，1G用于内核进程。
下图是一个典型的Linux进程的虚拟地址空间分布

在说CPU高速缓存的时候说过CPU只直接和寄存器和高速缓存打交道，CPU在执行进程的指令时要取一个实际的物理地址的值的时候主要有几步：
1. 把进程指令使用的虚拟地址通过MMU转换成物理地址
2. 把物理地址映射到高速缓存的缓存行
3. 如果高速缓存命中就返回
4. 如果不命中，就产生一个缓存缺失中断，从主存相应的物理地址取值，并加载到高速缓存中。CPU从中断中恢复，继续执行中断前的指令

所以高速缓存是和物理地址相映射的，进程指令中使用到的是虚拟地址。

操作系统内存管理
在缓存原理中，数据都是按块来进行逻辑划分的，一次换入/换出的数据都是以块为最小单位，这样提高了数据处理的性能。同样的原理应用到具体的内存管理时，使用了页(page)来表示块，虚拟地址空间划分为多个固定大小的虚拟页(Virtual Page, VP)，物理地址空间划分为多个固定大小的物理页(Physical Page, PP), 通常虚拟页大小等于物理页大小，这样简化了虚拟页和物理页的映射。虚拟页的大小通常在4KB - 2MB之间。在JVM调优的时候有时候会使用2MB的大内存页来提高GC的性能。
要明白一个重要的概念：
1. 对于CPU来说，它的目标存储器是物理内存，使用高速缓存做物理内存的缓存
2. 同样，对于虚拟内存来说，它的目标存储器是磁盘空间，使用物理内存做磁盘的缓存

所以，从缓存原理的角度来理解，在任何时刻，虚拟页的集合都分为3个不相交的子集：
1. 未分配的页，即没有任何数据和这些虚拟页关联，不占用任何磁盘空间
2. 缓存的页，即已经分配了的虚拟页，并且已经缓存在具体的物理页中
3. 未缓存的页，即已经为磁盘文件分配了虚拟页，但是还没有缓存到具体的物理页中

页表
页表(page table)是存放在主存中的，每个进程维护一个单独的页表。它是一种管理虚拟内存页和物理内存页映射和缓存状态的数据结构。它逻辑上是由页表条目(Page Table Entry， PTE)为基本元素构成的数组。
1. 数组的索引号对应着虚拟页号
2. 数组的值对应着物理页号
3. 数组的值可以留出几位来表示有效位，权限控制位。有效位为1的时候表示虚拟页已经缓存。有效位为0，数组值为null时，表示未分配。有效位为0，数组值不为null，表示已经分配了虚拟页，但是还未缓存到具体的物理页中。权限控制位有可读，可写，是否需要root权限

DARM缓存的命中称为页命中，不命中称为缺页。举个例子来说，
1. CPU要访问的一个虚拟地址在虚拟页3上（VP3），通过地址翻译硬件从页表的3号页表条目中取出内容，发现有效位0，即没有缓存，就产生一个缺页异常
2. 缺页异常调用内核的缺页异常处理程序，它会根据替换算法选择一个DRAM中的牺牲页，比如PP3。PP3中已经缓存了VP4对应的磁盘文件的内容，如果VP4的内容有改动，就刷新到磁盘中去。然后把VP3对应的磁盘文件内容加载到PP3中。然后更新页表条目，把PTE3指向PP3,并修改PTE4，不再指向PP3.
3. 缺页异常处理程序返回后重新启动缺页异常前的指令，这时候虚拟地址对应的内容已经缓存在主存中了，页命中也可以让地址翻译硬件正常处理了

磁盘和主存之间传送页的活动叫做交换(swapping)或者页面调度（页面调入，页面调出）。现代操作系统都采用按需调度的策略，即不命中发生时才调入页面。操作系统都会在主存中分配一块交换区(swap)来作缓冲区，加速页面调度。
由于页的交换会引起磁盘流量，所以具有好的局部性的程序可以大大减少磁盘流量，提高性能。而如果局部性不好产生大量缺页，从而导致不断地在磁盘和主存交换页，这种现象叫缓存颠簸。可以用Unix的函数getrusage来统计缺页的次数

现代操作系统都采用多级页表的方式来压缩页表的大小。举个例子，
1. 对于32位的机器来说，支持4G的虚拟内存大小，如果每个页表是4KB大小，那么采用一级页表的话，需要10^6(1MB)个页表条目PTE。32位机器的页表条目是4个字节，那么页表需要4MB大小的空间。
2. 假设使用4MB大小的页，那么只需要1KB的页表项。假设每个4MB大小的页又分为4KB大小的子页，那么每个4MB大小的页需要1KB的页表项来指向子页。也就是说可以分为两级页表，第一级页表项只需要1KB的页表项，每个一级页表项又指向一个1KB的二级页表项，二级页表项则指向实际的物理页。

页表项加载是按需加载的，没有分配的虚拟页不需要建立页表项， 所以可以一开始只建立一级页表项，而二级页表项按需创建，这样大大压缩了页表的空间。Core i7采用4级页表的结构

地址翻译
地址翻译就是把N个元素的虚拟地址空间(VAS)映射到M个元素的物理地址空间(PAS)的过程。下表是地址翻译时用到的符号

下面看一下CPU如何把一个虚拟地址翻译到对应的物理地址。
1. CPU有一个专门的页表基地址寄存器(page table base register, PTBR)指向当前页表的基地址，从而可以快速定位到该进程的页表
2. n位的虚拟地址划分为p位的虚拟地址偏移量VPO和(n - p)位的虚拟页号VPN
3. 物理地址同样划分为p位的物理地址偏移量PPO和(m - p)位的物理页号PPN
4. 由于虚拟页大小和物理页大小相同，所以VPO = PPO

页面的命中完全由硬件完成，缺页则由硬件和内核共同完成

总结一下地址翻译的过程：
1. CPU拿到一个虚拟地址，分为两步，先通过页表机制确定该地址所在虚拟页的内容是否从磁盘加载到物理内存页中，然后通过高速缓存机制从该物理地址中取到数据
2. 地址翻译硬件要把这个虚拟地址翻译成一个物理地址，从而可以再根据高速缓存的映射关系，把这个物理地址对应的值找到
3. 地址翻译硬件利用页表数据结构，TLB硬件缓存等技术，目的只是把一个虚拟地址映射到一个物理地址。要记住DRAM缓存是全相联的，所以一个虚拟地址和一个物理地址是动态关联的，不能直接根据虚拟地址推导出物理地址，必须根据DRAM从磁盘把数据缓存到DRAM时存到页表时存的实际物理页才能得到实际的物理地址，用物理页PPN + VPO就能算出实际的物理地址 (VPO = PPO，所以直接用VPO即可)。 PPN的值是存在页表条目PTE中的。地址翻译做了一堆工作，就是为了找到物理页PPN，然后根据VPO页面偏移量，就能定位到实际的物理地址。
4. 得到实际物理地址后，根据高速缓存的原理，把一个物理地址映射到高速缓存具体的组，行，块中，找到实际存储的数据。