《操作系统》知识点整理（十）虚拟存储器

5 虚拟存储器

1.  虚拟存储器的基本概念

分析常规存储器管理不足的原因：

1）常规存储器管理方式的特征

一次性：作业在运行前一次性地全部装入内存

驻留性：作业装入内存后，便一直驻留在内存中，直至作业运行结束。

：一次性及驻留性在程序运行时是否是必须的？

NO。程序运行有局部性。

2）局部性原理

1968年，Denning.P提出

程序在执行时将呈现出局部性规律：

在一较短的时间内

程序的执行仅局限于某个部分；

相应地，所访问的存储空间也局限于某个区域。

 

程序执行的特点：

多数情况下仍是顺序执行。

少部分的转移和过程调用指令会使程序执行由一部分区域转至另一部分区域（但研究表明调用深度多数情况下不超过5）

许多由少数指令构成的循环结构会多次执行。

对许多数据结构的处理（如数组）往往局限于很小的范围内。

 

 

所有上述情况都表现出程序执行的局部性：

时间局部性(temporal locality)

被引用过一次的存储器位置很可能在不远的将来再被多次引用。

空间局部性(spatial locality)

如果一个存储器位置被引用了一次，那么程序很可能在不远的将来引用附近的一个存储器位置。

 

* 关于局部性的讨论

有良好局部性的程序运行速度更快；

计算机系统的各个层次都利用了局部性：

Cache；

主存:缓存磁盘文件系统最近使用的磁盘块；

Web浏览器将最近被引用的文档放在本地磁盘上；

Web服务器将最近被请求的文档放在前端磁盘高速缓存中。

 

重复引用同一个变量的程序有良好的时间局部性；

对于使用数组等数据结构的程序，a[1],a[2]……数据的使用可看做具有步长k=1的引用模式，步长越小，空间局部性越好；数组按行访问和按列访问其局部性不同。

对于取指令来说，循环有好的时间和空间局部性；

循环体越小，循环迭代次数越多，局部性越好。

 

基于局部性原理

程序运行前，不需全部装入内存（打破一次性）

仅装入当前要运行的部分页面或段即可运行，其余部分暂留在外存上。

缺页/段的情况：要访问的页(段) 尚未调入内存。程序应利用OS所提供的请求调页(段)功能，将它们调入内存，使程序继续执行。

调入需要的页/段时，如果内存已满，无法再装入新页(段)，通过置换功能将内存中暂时不用的页(段)调至外存，腾出足够的内存空间。（不总驻留）

 

交换技术与虚存使用的调入调出技术有何相同和不同之处？

主要相同点是都要在内存与外存之间交换信息；

主要区别在于交换技术换出换进一般是整个进程(proc结构和共享正文段除外)，因此一个进程的大小受物理存储器的限制；

而虚存中使用的调入调出技术在内存与外存之间来回传递的是存储页或存储段，而不是整个进程，从而使得进程映射具有了更大的灵活性，且允许进程的大小比可用的物理存储空间大的多 。

 

总之：

为了用小的内存实现在大的虚空间中程序的运行目的

基于局部性原理

虚拟存储器管理——由操作系统提供一个比实际内存大的，假想的特大存储器。

 

3）虚拟存储器的定义

所谓“虚拟存储器”，是指具有请求调入功能和置换功能，能从逻辑上对内存容量加以扩充的一种存储器系统。

虚拟存储管理下

内存逻辑容量由内存容量和外存容量之和所决定

运行速度接近于内存速度

每位的成本却接近于外存。

 

4）虚拟存储器的实现

虚拟存储管理：

允许将一个作业分多次调入内存。

若采用连续分配方式，需申请足够空间，再分多次装入，造成内存资源浪费，并不能从逻辑上扩大内存容量。

虚拟的实现建立在离散分配存储管理基础上

方式：请求分页/请求分段系统

细节：分页/段机构、中断机构、地址变换机构、软件支持

 

5）虚拟存储器的特征

离散分配方式是基础

多次性：一个作业被分成多次调入内存运行

对换性：允许在作业的运行过程中进行换进、换出。（进程整体对换不算虚拟）

最终体现虚拟性：能够从逻辑上扩充内存容量，使用户所看到的内存容量远大于实际内存容量。

 

2. 请求分页存储管理方式

基本分页 + “请求调页”和“页面置换”功能。

换入和换出基本单位都是长度固定的页面

1）硬件支持

一台具有一定容量的内/外存的计算机+ 页表机制+ 缺页中断机构+ 地址转换机构

①页表基本功能不变：逻辑地址映射为物理地址

增加虚拟功能后需记录的页表项信息有变化

②缺页中断机构

每当要访问的页面不在内存时，便产生一缺页中断通知OS，OS则将所缺之页调入内存。作为中断，需经历几个步骤：

a)“保护CPU环境”

b)“分析中断原因”

c)“转入缺页中断处理程序”

d)“恢复CPU环境”等。

作为一种特殊中断，与一般中断有明显区别：

(1) 在指令执行期间产生和处理中断信号。

(2) 一条指令在执行期间，可能产生多次缺页中断。

 

③地址变换机构

分页系统地址变换机构的基础上增加

产生和处理缺页中断（请求调入）

从内存中换出一页的功能（置换）

 

2）内存分配

作业不一次装入，部分装入的情况下如何为进程分配内存，涉及三个问题：

①最小物理块数的确定

少于此数量进程将不能运行

与计算机的硬件结构有关，取决于指令的格式、功能和寻址方式

②物理块的分配策略

考虑：固定OR可变分配、全局OR局部置换。

组合出三种适合的策略。

固定分配、局部置换

为每个进程分配一定数目的物理块，在整个运行期间不再改变（基于进程的类型，或根据程序员、程序管理员的建议）

运行中缺页时，只能从该进程内存中n个页面中选出一页换出，然后再调入一页。

  困难：难以把握为每个进程分配“适量”物理块数

③物理块的分配算法

固定分配策略时，分配物理块可采用以下几种算法：

平均分配算法

将所有可供分配的物理块平均分配给各进程。

缺点：未考虑各进程本身的大小，利用率不均。

按比例分配算法

根据进程的大小按比例分配物理块。

设系统中共有n个进程

则，每个进程能分到的物理块数：

 

 

考虑优先权的分配算法

实际应用中，要照顾重要、急迫的作业尽快完成，为它分配较多的内存空间。所有可用物理块分两部分：

一部分按比例分配给各进程；

一部分根据各进程优先权，适当地为其增加份额，分配给各进程。

 

3）调页策略

① 何时调入页面

1.预调页策略

以预测为基础，将预计不久后便会被访问的若干页面，预先调入内存。

优点：一次调入若干页，效率较好

缺点：预测不一定准确，预调入的页面可能根本不被执行到。主要用于进程的首次调入，由程序员指出应该先调入哪些页。

2.请求调页策略

运行中需要的页面不在内存，便立即提出请求，由OS将其调入内存。

优点：由请求调页策略所确定调入的页，一定会被访问；比较容易实现。

缺点：每次仅调入一页，需花费较大的系统开销，增加了磁盘I/O的启动频率。

② 从何处调入页面

 在请求分页系统中的外存分为：

对换区：连续存放数据，读写速度较快

文件区：离散分配方式，I/O速度相对慢

发生缺页时，系统应从何处将缺页调入内存，分成三种情况：

系统拥有足够的对换区空间：

 进程运行前所有页面由文件区拷贝到对换区；

运行需要的页面全部从对换区调入内存，提高调页速度。

系统缺少足够的对换区空间：

不会被修改的部分，在文件区操作（即：直接从文件区调入，换出时不用写入文件，再调入时仍从文件区调入）

可能被修改的部分，在对换区操作。

UNIX方式：（随运行数据逐渐从文件区转到对换区）

未运行的页面从文件区调入；

曾经运行，但又被换出的页面放在对换区，下次调入应从对换区调入。

进程请求的共享页面可能已被其他进程调入，无需再从对换区调入。

 

③ 页面调入过程

程序运行前需要装入内存：上述的②步策略处理何处调入；

开始运行：先预调入一部分页面；

运行中：需要的页面不在内存时，

向CPU发出一缺页中断，“中断处理程序”开始工作：

首先保留CPU环境

分析中断原因后，转入缺页中断处理程序。

处理：判断是否置换、页表信息更新

恢复现场，重新操作页面。

 

3.页面置换算法

页面置换算法(page replacement algorithms)：选择换出哪些页面的算法，其好坏直接影响系统的性能。

1）最佳（Optimal）置换算法

Belady，1966年提出的一种理论上的算法

换出以后永不再用的，或在最长(未来)时间内不再被访问的页面。

优点：保证获得最低的缺页率

不足：无法实现，因为无法预知一进程将来的运行情况

作用：作为参照标准，评价其他算法。

2）先进先出置换算法（FIFO）

先进入的先淘汰，即选择内存中驻留时间最久的页面予以淘汰。

优点：实现简单，把一进程已调入内存的页面按先后次序组织成一个队列，并设置一个指针(替换指针)，使它总是指向队首最老的页面。

不足：与进程实际运行规律不相适应（较早调入的页往往是经常被访问的页，频繁被对换造成运行性能降低）

*Belady 现象

Belady现象：出现分配的页面数增多，缺页率反而提高的异常现象。

描述：一个进程P要访问M个页，OS分配N个内存页面给进程P；对一个访问序列S，发生缺页次数为PE（S,N）。当N增大时，PE(S, N)时而增大，时而减小。

Belady现象的原因：FIFO算法的置换特征与进程访问内存的动态特征矛盾，即被置换的页面并不是进程不会访问的。

 

3）最近最久未使用(LRU)置换算法

无法预测将来的使用情况，只能利用“最近的过去”作为“最近的将来”的近似，因此，LRU置换算法选择最近最久未使用（least recently used）的页面予以淘汰

不足：

有时页面过去和未来的走向之间并无必然的联系。

相应的需较多的硬件支持：记录每个页面自上次被访问以来所经历的时间t，淘汰时选择页面t值最大的；以及需要快速地知道哪一页是最近最久未使用的页面，用寄存器或栈。

 

①寄存器记录时间的原理

一进程有8个页面，每个页面需配备一个8位的（移位）寄存器。

  移位寄存器表示为

            R=Rn-1Rn-2Rn-3…R2R1R0

页面被访问后的操作：

将该页对应的寄存器的Rn-1位置为1

如何记时：

由系统发出定时信号，每隔一定时间将所有寄存器右移1位。

某一时刻，比较各寄存器的值，被用到的标志1逐渐往低位上积累，若高位上没有1，就说明最近没用过。所以最近最久未使用的就是寄存器值最小的那个页。

②栈记录时间的原理

某页面被访问，便将该页面的页面号从栈中移出，将它压入栈顶。因此：栈顶始终是最新被访问页面的编号，越久未使用，页面越被压在栈底。

4）轮转算法(clock)

LRU(最近最久未使用算法)近似算法

折衷FIFO

每个页设一个使用标志位(use bit)，若该页被访问则将其置为1。

设置一个指针，从当前指针位置开始按地址先后检查各页，寻找use bit=0的页面作为被置换页。

若指针经过的页use bit=1，修改use bit=0（暂不凋出，给被用过的页面驻留的机会 ），指针继续向下。到所有页面末尾后再返回队首检查。

 

5）其他置换算法

①最少使用 (LFU, Least Frequently Used)

关键在次数记录上

每页设置访问计数器，每当页面被访问时，该页面的访问计数器加1；缺页中断时，淘汰计数值最小的页面，并将所有计数清零；

计数的实现类似LRU，用移位寄存器，但比较时不是简单比较寄存器的值，而是比较寄存器每位的和∑Ri。

 

②页面缓冲算法PBA(page buffering algorithm)

对FIFO算法的发展，弥补了FIFO可能造成的I/O开销，又不需要LRU等算法的硬件支持。

仍用FIFO算法选择被置换页

但并不将其马上换入外存。

系统将页面放入两个链表之一：如果页面未被修改，就将其归入到空闲页面链表的末尾；否则将其归入到已修改页面链表。

需要调入新的物理页面时，将新页面内容读入到空闲页面链表的第一项所指的页面，然后将第一项删除（从空闲链表摘下）。

空闲页面和已修改页面，仍停留在内存中一段时间，如果这些页面被再次访问，只需较小开销，而被访问的页面可以返还作为进程的内存页。

当已修改页面达到一定数目后，再将它们一起调出到外存，然后将它们归入空闲页面链表，这样能大大减少I/O操作的次数。

 

※ 虚拟存储管理下访问内存的有效时间

请求分页管理方式下，存在三种方式的内存访问

页在内存，且快表检索命中

EAT= l + t

页在内存，但快表检索没有命中

EAT= 快表检索时间+访问页表时间+修改更新快表时间+访问页面物理内存时间 = l +t+ l +t=2*(l +t)

页面不在内存

EAT=快表检索时间+访问页表时间+缺页中断处理时间+修改更新快表时间+访问页面物理内存时间 = l + t + e + l  + t

加入概率的综合公式(a是快表命中率，f是缺页率)

EAT= l  + a*t +(1-a)*{     = l  +a*t +(1-a)*{t + f*(e+l+t)  +(1-f)*(l+ t) }

 

※ 影响缺页率的主要因素

(1)分配给作业的主存块数:

 多则缺页率低，反之则高。

(2)页面大小：

大则缺页率低；反之则高。

(3)页面调度算法：

对缺页中断率影响很大，但不可能找到一种最佳算法。

(4)程序编制方法：

以数组运算为例，如果每一行元素存放在一页中，则按行处理各元素缺页中断率低；反之，按列处理各元素，则缺页中断率高。

※抖动

系统抖动：

为了提高处理机利用率，可增加多道程序并发度；

但进程数目增加过多，每个进程分配得到的物理块太少，在某个临界点上，会出现刚被淘汰的页很快又需重新调入；而调入不久又被淘汰出去；出现频繁缺页

大部分处理器时间都用在来回的页面调度上，这种局面称为系统抖动或颠簸（thrashing)

 

常用防抖动方法：

局部置换策略；

页面调入内存前检查各进程工作集，为缺页率高的增加有限物理块；

L缺页间的平均时间=S置换一个页面所需时间，可使磁盘和cpu达到最大利用率；

抖动发生时选择暂停一些进程，调节多道程序度。

抖动的后果：

缺页率急剧增加

内存有效存取时间加长，

系统吞吐量骤减；系统已基本不能完成什么任务，而是忙于页面对换操作，cpu虽然忙，但效率急剧下降。

根本原因：

页面淘汰算法不合理；分配给进程的物理页面数(驻留集)太少。

 

缺页率与物理块数有关联，基于程序局部性原理，若能预知程序在某段时间要访问的页面并全部调入他们，将大大降低缺页率。Denning提出工作集概念：

某段时间间隔中，进程实际要访问的页面的集合。可以用一个二元函数W(t, D)来表示， t是当前的执行时刻，D 称为工作集窗口（working-set window ）。

 

 

工作集模型的原理：

 

操作系统跟踪每个进程的工作集，并为进程分配大于其工作集的物理块。

如果还有空闲物理块，则可以再调一个进程到内存以增加多道程序数。

如果所有工作集之和增加以至于超过了可用物理块的总数，那么操作系统会暂停一个进程，将其页面调出并且将其物理块分配给其他进程，防止出现抖动现象。

正确选择工作集的大小，对存储器的利用率和系统吞吐量的提嵩，都将产生重要影响。

 

驻留集

 

驻留(常驻)集是指在当前时刻，进程实际驻留在内存当中的页面集合。

工作集是进程在运行过程中固有的性质，而驻留集取决于系统分配给进程的物理页面数目，以及所采用的页面置换算法；

如果一个进程的整个工作集都在内存当中，即驻留集 Ê 工作集，那么进程将很顺利地运行，而不会造成太多的缺页中断（直到工作集发生剧烈变动，从而过渡到另一个状态）；

当驻留集达到某个数目之后，再给它分配更多的物理页面，缺页率也不会明显下降。

4.请求分段存储管理方式

在请求分段系统中，程序运行之前，只需先调入若干个分段(不必调入所有的分段)，便可启动运行。当所访问的段不在内存中时，可请求OS将所缺的段调入内存。

1）请求分段中的硬件支持

①段表机制

②缺段中断机构

发现运行进程所访问段尚未调入内存

由缺段中断机构产生一缺段中断信号

进入OS，由缺段中断处理程序将所需的段调入内存。

缺段中断同样在一条指令的执行期间产生和处理中断，一条指令执行可能产生多次缺段中断。但不会出现一条指令被分割在两个分段中或一组信息被分割在两个分段中的情况。

③地址变换机构

基于分段系统地址变换机构的基础

段调入内存

修改段表

再利用段表进行地址变换。

总之：就是增加了缺段中断的请求及处理等功能

 

2）分段的共享和保护

分段在逻辑意义上划分，实现共享和保护都较方便。以下讨论具体实现：

①实现共享：共享段表

在内存中配置一张共享段表，每个共享段都占有一表项，记录如下内容：

共享计数count：

共享段为多个进程所需要，当某进程不再需要它而释放它时，系统并不回收该段所占内存区，仅当所有共享该段的进程全都不再需要它时，才由系统回收该段所占内存区。设置count用于记录有多少个进程需要共享该分段。

② 共享段如何分享与回收

 

u共享段的分配

第一个请求使用该共享段的进程A：系统为该共享段分配一物理区，再把共享段装入该区；

将该区的始址填入A的段表相应项；

共享段表中增加一表项，填写有关数据，count置1；

其他进程B也调用该共享段时，无需再为该段分配内存，只需在B的段表中增加一表项，填写该共享段的物理地址；在共享段的段表中，填上调用进程的进程名、存取控制等，再执行count:=count+1操作。

共享段的回收

包括撤消在进程段表中共享段所对应的表项，执行count:=count-1。

如果count为0，则由系统回收该共享段的物理内存，并取消共享段表中该段所对应的表项。

③ 分段保护

 

越界检查

段表寄存器存放了段表长度；段表中存放了每个段的段长。

在进行存储访问时，将段号与段表长度比较，段内地址与段长比较。

存取控制检查

尤其表现在不同进程对共享段的不同使用上。段表每个表项都设置“存取控制”字段，规定该段的访问方式：只读，只执行，读/写

环保护机构

规定：低编号的环具有高优先权

遵循的原则：一个程序可以访问驻留在相同环或较低特权环中的数据。一个程序可以调用驻留在相同环或较高特权环中的服务

 

主要知识点