王道OS-存储器管理

1 内存的基础知识

1.1 什么是内存？有何作用？

内存是用于存放数据的硬件。程序执行前需要先放到内存中才能被CPU处理。

1.2 补充知识：几个常用的数量单位

1.3 进程的运行原理——指令

可见，我们写的代码要能翻译成CPU能识别的指令。这些指令会告诉CPU应该去内存的哪个地址存/取数据，这个数据应该做什么样的处理。在这个例子中，指令中直接给出了变量x的实际存放地址（物理地址）。但实际在生成机器指令的时候并不知道该进程的数据会被放到什么位置。所以编译生成的指令中一般是使用逻辑地址（相对地址）

1.4 逻辑地址vs物理地址

1.5 从写程序到程序运行

编译：由编译器程序将用户源代码编译成若干个模块（编译就是把高级语言翻译为机器语言）

链接：由链接程序将编译后形成的一组目标模块，以及所需库函数链接在一起，形成一个完整的装入模块

装入（装载）：由装入程序将装入模块装入内存运行

1.5.1 装入模块装入内存

1.5.1.1 装入的三种方式

1.绝对装入
2.静态重定位
3.动态重定位

1.5.1.1.1 绝对装入

在编译时，如果知道程序将放到内存中的哪个位置，编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址，将程序和数据装入内存。

绝对装入只适用于单道程序环境 。

程序中使用的绝对地址，可在编译或汇编时给出，也可由程序员直接赋予。通常情况下都是汇编时再转换为绝对地址。

1.5.1.1.2 静态重定位

又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的，指令使用的地址、数据存放的地址都是相对于其实地址而言的逻辑地址。可根据内存的当前情况，将装入模块装入到内存的适当位置。装入时对地址进行“重定位”，将逻辑地址变换为物理地址（地址变换是在装入时一次完成的）。

静态重定位的特点是在一个作业装入内存时，必须分配其要求的全部内存空间，如果没有足够的内存，就不能装入该作业。作业一旦进入内存后，在运行期间就不能再移动，再也不能再申请内存空间。

1.5.1.1.3 动态重定位

又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后，并不会立即把逻辑地址转换为物理地址，而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持

1.5.2 链接的三种方式

1.5.2.1 静态链接

在程序运行之前，现将各目标模块及他们所需的库函数连接成一个完整的可执行文件（装入模块），之后不再拆开

1.5.2.2 装入时动态链接

将各目标模块装入内存时，边装入边链接的链接方式

1.5.2.2 装入时动态链接

在程序执行中需要该目标模块时，才对它进行链接。其优点是便于修改和更新，便于实现对目标模块的共享

2 内存管理的概念

2.1 内存空间的分配与回收

2.2 内存空间的扩充

2.3 地址转换

• 操作系统负责实现逻辑地址到物理地址的转换

2.3.1 三种方式

• 绝对装入：编译器负责地址转换（单道程序阶段，无操作系统）

• 可重定位装入：装入程序负责地址转换（早期多道批处理阶段）

• 动态运行时装入：运行时才进行地址转换（现代操作系统）

2.4 存储保护

保证各进程在自己的内存空间内运行，不会越界访问

2.4.1 两种方式

• 1.在CPU中设置一对上、下限寄存器，存放进程的上、下限地址。进程的指令要访问某个地址时，CPU检查是否越界
  
• 2.采用重定位寄存器（又称基址寄存器）和界地址寄存器（又称限长寄存器）进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址
  

3 覆盖与交换

3.1 覆盖技术

早期的计算机内存很小，比如IBM推出的第一台PC机最大只支持1MB大小的内存。因此经常会出现内存大小不够的情况。后来人们引入了覆盖技术，用来解决“程序大小超过了物理内存总和”的问题

覆盖技术的思想：将程序分为多个段（多个模块）。常用的段常驻内存，不常用的段在需要时调入内存

内存中分为一个“固定区”和若干个“覆盖区”

需要常驻内存的段放在“固定区”中，调入后就不再调出（除非运行结束）
不常用的段放在“覆盖区”，需要用到时掉入内存，用不到时调出内存

必须由程序员声明覆盖结构，操作系统完成自动覆盖。缺点：对用户不透明，增加了用户编程负担。覆盖技术只适用于早期的操作系统中，现在已成为了历史

3.2 交换技术

交换（对换）技术的思想：内存空间紧张时，系统将内存中某些进程暂时换出外存，把外存中某些已具备运行条件的进程换入内存（进程在内存与磁盘间动态调度）

中级调度（内存调度），就是要决定将哪个处于挂起状态的进程重新调入内存

暂时换出外存等待的进程状态为挂起状态（挂起态，suspend）
挂起态又可以进一步细分为就绪挂起、阻塞挂起两种状态

• 1.具有对换功能的操作系统中，通常把磁盘空间分为文件区和对换区两部分。文件区主要用户存放文件，主要追求存储空间的利用率，因此对文件区的管理采用离散分配方式；对换区空间只占磁盘空间的小部分，被换出的进程数据就存放在对换区。由于对换的速度直接影响到系统的整体速度，因此对换区空间的管理主要追求换入换出速度，因此通常对换区采用连续分配方式。总之，对换区的I/O速度比文件区的更快
• 2.交换通常在许多进程运行且内存吃紧时进行，而系统负荷降低就暂停。例如：在发现许多进程运行时经常发生缺页，说明内存紧张，此时可以换出一些进程；如果缺页率明显下降，就可以暂停换出
• 3.可优先换出阻塞进程；可换出优先级低的进程；为了防止优先级低的进程在被调入内存后很快又被换出，有的系统还会考虑进程在内存的驻留时间
  （注意：PCB会常驻内存，不会被换出内存）

4 连续分配管理方式

连续分配：指为用户进程分配的必须是一个连续的内存空间

4.1 单一连续分配

在单一连续分配方式中，内存被分为系统区和用户区。系统通常位于内存的低地址部分，用于存放操作系统相关数据；用户区用于存放用户进程相关数据
内存中只能有一道用户程序，用户程序独占整个用户区空间

优点：实现简单；无外部碎片；可以采用覆盖技术扩充内存；不一定需要采取内存保护（eg：早期的PC操作系统MS-DOS）。

缺点：只能用于单用户、单任务的操作系统中；有内部碎片；存储率极低

4.2 固定分区分配

分区大小相等；缺乏灵活性，但是很适合用于一台计算机控制多个相同对象的场合（比如：钢铁厂有n个相同的炼钢炉，就可以把内存分为n个大小相等的取余存放n个炼钢炉控制程序）

分区大小不等：增加了灵活性，可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分（比如：划分多个小分区、适量中等分区、少量大分区）

操作系统需要建立一个数据结构——分区说明表，来实现各个分区的分配与回收。每个表项对应一个分区，通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态（是否已分配）

当某用户程序要装入内存时，由操作系统内核程序根据用户程序大小检索该表，从中找到一个能满足大小的、未分配的分区，将之分配给该程序，然后修改状态为“已分配”

优点：实现简单，无外部碎片
缺点：①当用户程序太大时，可能所有的分区都不能满足需求，此时不得不采用覆盖技术来解决，但这又会降低性能；②会产生内部碎片，内存利用率低

4.3 动态分区分配

动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区，而是在进程装入内存时，根据进程的大小动态地建立分区，并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。（eg：假设某计算机内存大小为64MB，系统区8MB，用户区共56MB）

4.3.1 系统要用什么样的数据结构记录内存的使用情况？

4.3.2 当很多个空闲分区都能满足需求时，应该选择哪个分区进行分配？

把一个新作业装入内存时，须按照一定的动态分区分配算法，从空闲分区表（或空闲分区链）中选出一个分区分配给该作业。由于分配算法对系统性能有很大的影响，因此人们对它进行了广泛的研究。

4.3.3 如何进行分区的分配与回收操作？

情况一：

情况二：

动态分区分配没有内部碎片，但是有外部碎片
内部碎片，分配给某进程的内存区域中，如果有些部分没有用上
外部碎片，是指内存中的某些空闲分区由于太小而难以利用

如果内存中空闲空间的总和本来可以满足某进程的要求，但由于进程需要的是一整块连续的内存空间，因此这些“碎片”不能满足进程的需求
可以通过紧凑（拼凑）技术来解决外部碎片化

4.3.4 动态分区分配算法

动态分区分配算法：在动态分区分配方式中，当很多个空闲分区都能满足需求时，应该选择哪个分区进行分配？

4.3.4.1 首次适应算法

算法思想：每次都从低地址开始查找，找到第一个能满足大小的空闲分区

如何实现：空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区。

4.3.4.2 最佳适应算法

算法思想：由于动态分区分配是一种连续分配方式，为各进程分配的空间必须是连续一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间，可以尽可能多地留下大片的空闲区，即，优先使用更小的空闲区

如何实现：空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区

缺点：每次都选用最小的分区进行分配，会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片

4.3.4.3 最坏适应算法

又称最大适应算法

算法思想：为了解决最佳适应算法的问题——即留下太多难以利用的小碎片，可以在每次分配时优先使用最大的连续空闲区，这样分配后剩余的空闲区就不会太小，更方便使用

如何实现：空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区

缺点：每次都选最大的分区进行分配，虽然可以让分配后留下的空闲区更大，更可用，但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达，就没有内存分区可用了

4.3.4.4 邻近适应算法

算法思想：首次适应算法每次都要从链头开始查找。这可能会导致低地址部分出现很多小的空闲分区，而每次分配查找时，都要经过这些分区，因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索，就能解决上述问题

如何实现：空闲分区以地址递增的顺序排列（可排成一个顺序列表）。每次分配内存时从上次查找结束的位置开始查找空闲分区链（或空闲分区表），找到大小能满足要求的第一个空闲分区

首次适应算法每次都要从头查找，每次都需要检索低地址的小分区。但是这种规则也决定了当低地址部分有更小的分区可以满足需求时，会更有可能用到低地址部分的小分区，也会更有可能把高地址部分的大分区保留下来（最佳适应算法的优点）

邻近适应算法的规则可能会导致无论低地址、高地址部分的空闲分区都有相同的概率被使用，也就导致了高地址部分的大分区更可能被使用，划分为小分区，最后导致无大分区可用（最大适应算法的缺点）
综合来看，四种算法中，首次适应算法的效果反而更好

5 分页存储管理方式

5.1 基本概念

基本分页存储管理的思想——把内存分为一个个相等的小分区，再按照分区大小把进程拆分成一个个小部分
将内存空间分为一个个大小相等的分区（比如：每个分区4KB），每个分区就是一个“页框”，或称“页帧”、“内存块”、“物理块”。每个页框有一个编号，即“页框号”（或者“内存块号”、“页帧号”、“物理块号”）页框号从0开始。

将用户进程的地址空间也分为与页框大小相等的一个个区域，称为“页”或“页面”。每个页面也有一个编号，即“页号”，页号也是从0开始。
（注：进程的最后一个页面可能没有一个页框那么大。因此，页框不能太大，否则可能产生过大的内部碎片）

操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说，进程的页面与内存的页框有一一对应的关系
各个页面不必连续存放，也不必按先后顺序来，可以放到不相邻的各个页框中

5.1.1 逻辑地址结构

分页存储管理的逻辑地址结构如下所示：

地址结构包含两个部分：前一部分为页号，后一部分为页内偏移量W。在上图所示的例子中，地址长度为32位，其中0-11位为“页内偏移量”，或称“页内地址”；12-31位为“页号”

页号=逻辑地址 / 页面长度（取除法的整数部分）
页内偏移量=逻辑地址 % 页面长度（取除法的余数部分）

如果有K位表示“页内偏移量”，则说明该系统中一个页面的大小是2^k个内存单元
如果有M位表示“页号”，则说明在该系统中，一个进程最多允许有2^M个页面

5.1.2 页表

为了能知道进程的每个页面在内存中存放的位置，操作系统要为每个进程建立一张页表

1.一个进程对应一张页表
2.进程的每一页对应一个页表项
3.每个页表项由“页号”和“块号”组成
4.页表记录进程页面和实际存放的内存块之间的对应关系
5.每个页表项的长度是相同的，页号是“隐含”的

5.1.2.1 为什么说每个页表项的长度是相同的，页号是隐含的呢？

Eg：假设某系统物理内存大小为4GB，页面大小为4KB，则每个页表项至少应该为多少字节？
4GB = 2^32B，4KB=2 ^12B
因此4GB的内存总共会被分为2^32 / 2^12 = 2^20个内存块，因此内存块号的范围应该是0~2 ^20 - 1
因此至少要20个二进制位才能表示这么多的内存块号，因此至少要3个字节才够
（每个字节8个二进制位，3个字节共24个二进制位）

各页表项会按顺序地连续地存放在内存中
如果该页表在内存中存放的其实地址为X，则M号页对应的页表项一定是存放在内存地址为X + 3 * M
因此，页表中的“页号”可以是“隐含”的
只需要知道页表存放的起始地址和页表项长度，即可以找到各个页号对应的页表项存放的位置
在本例中，一个页表项占3B，如果进程由n个页面，则该进程的页表总共会占3*n个字节

5.2 基本地址变换机构

基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址

通常会在系统中设置一个页表寄存器（PTR），存放页表在内存中的起始地址F和页表长度M

进程未执行时，页表的始址和页表长度放在进程控制块（PCB）中，当进程被调度时，操作系统内核会把它们放到页表寄存器中

注意：页面大小是2的整数幂

设页面大小为L，逻辑地址A到物理地址E的变换过程如下：

1. 计算页号P和页内偏移量W（如果用十进制数手算，则P=A/L，W=A%L；但是在计算机实际运行时，逻辑地址结构是固定不变的，因此计算机硬件可以更快地得到二进制表示的页号、页内偏移量）
2. 比较页号P和页表长度M，若P>=M，则产生越界中断，否则继续执行。（注意：页号是从0开始的，而页表长度至少是1，因此P=M时也会越界）
3. 页表中页号P对应的页表项地址=页表起始地址F+页号P*页表项长度，取出该页表项内容b，即为内存块号。（注意区分页表项长度、页表长度、页面大小的区别。页表长度指的是这个页表中总共有几个页表项，即总共有几个页；页表项长度指的是每个页表项占多大的存储空间；页面大小指的是一个页面占多大的存储空间）
4. 计算E=b*L+W，用得到的物理地址E去访存。（如果内存块号、页面偏移量是用二进制表示的，那么把二者拼接起来就是最终的物理地址了）

5.3 具有快表的地址变换机构

时间局限性：如果执行了程序中的某条指令，那么不久后这条指令很有可能再次执行；如果某个数据被访问过，不久后该数据很可能再次被访问。（因为程序中存在大量的循环）
空间局部性：一旦程序访问了某个存储单元，在不久之后，其附近的存储单元也很有可能被访问。（因为很多数据在内存中都是连续存放的）

上小节介绍的基本地址变换机构中，每次要访问一个逻辑地址，都需要查询内存中的页表。由于局部性原理，可能连续很多次查到的都是同一个页表项。既然如此，能否利用这个特性减少访问页表的次数呢？

快表，又称为联想存储器（TLB），是一种访问速度比内存块快很多的高速缓冲存储器，用来存放当前访问的若干页表项，以加速地址变换的过程。与此对应，内存中的页表常称为慢表

5.3.1 引入快表后，地址的变换过程

1. CPU给出的逻辑地址，由某个硬件算得页号、页内偏移量，将页号与快表中的所有页号进行比较
2. 如果找到匹配的页号，说明要访问的页表项在快表中有副本，则直接从中取出该页对应的内存块号，再将内存块号与页内偏移量形成物理地址，最后，访问该物理物理地址对应的内存单元。因此，若快表命中，则访问某个逻辑地址仅需要一次访存即可
3. 如果没有找到匹配的页号，则需要访问内存中的页表，找到对应页表项，得到页面存放的内存块号，再将内存块号与页内偏移量拼接形成物理地址，最后，访问该物理地址对应的内存单元。因此若快表未命中，则访问某个逻辑地址需要两次访存（注意：在找到页表项后，应同时将其存入快表，以便后面可能的再次访问。但若快表已满，则必须按照一定的算法对旧的页表项进行替换）

由于查询快表的速度比查询页表的速度快很多，因此只要快表命中，就可以节省很多时间
因为局部性原理，一般来说快表的命中率可以达到90%以上

5.4 两级页表

5.4.1 如何解决单级页表的问题？

问题一：页表必须连续存放，因此当页表很大时，需要占用很多个连续的页框

问题二：没有必要让整个页表常驻内存，因为进程在一段时间内可能只需要访问某几个特定的页面

可将长长的页表进行分组，使每个内存块刚好可以放入一个分组（比如上个例子中，页面大小4KB，每个页表项4B，每个页面可存放1K个页表项，因此每1K个连续的页表项为一组，每组刚好占一个内存块，再讲各组离散地放到各个内存块中）
另外，要为离散分配的页表再建立一张页表，称为页目录表，或者外层页表，或称顶层页表

5.4.2 两级页表的原理、地址结构

5.4.3 如何实现地址变换

1. 按照地址结构将逻辑地址拆分成三部分
2. 从PCB中读出页目录始址，再根据一级页号查目录表，找到下一级页表在内存中的存放位置
3. 根据二级页号查表，找到最终想访问的内存块号
4. 结合页内偏移量得到物理地址
   

5.4.4 需要注意的几个细节

1.若采用多级页表机制，则各级页表的大小不能超过一个页面
2.两级页表的访存次数分析（假设没有快表机构）
第一次访存：访问内存中的页目录表
第二次访存：访问内存中的二级页表
第三次访存：访问目标内存单元

6 分段存储管理方式

6.1 分段

进程的地址空间：按照程序自身的逻辑关系划分为若干个段，每个段都有一个段名（在低级语言中，程序员使用段名来编程），每段从0开始编址
内存分配规则：以段为单位进行分配，每个段在内存中占据连续空间，但各段之间可以不相邻

由于是按逻辑功能模块划分，用户编程更方便，程序的可读性更高

LOAD 1,[D]<A>;  //将分段D中的单元内的值读入寄存器1
STORE1,[X]<B>;  //将寄存器1的内容存入X分段的B单元中

分段系统的逻辑地址结构由段号（段名）和段内地址（段内偏移量）锁组成。如：

段号的位数决定了每个进程最多可以分几个段
段内地址位数决定了每个段的最大长度是多少

在上述例子中，若系统是按字节寻址的，则
段号占16位，因此在该系统中，每个进程最多有2^16 = 64K个段
段内地址占16位，因此每个段的最大长度是2^16 = 64KB

6.2 段表

问题：程序分多个段，各段离散地装入内存，为了保证程序能正常运行，就必须能从物理内存中找到各个逻辑段的存放位置。为此，需为每个进程建立一张段映射表，简称“段表”

1.每个段对应一个段表项，其中记录了该段在内存中的起始位置（又称“基址”）和段的长度

2.各个段表项的长度是相同的。例如：某系统按字节寻址，采用分段存储管理，逻辑地址结构为（段号16位，段内地址16位），因此用16位即可表示最大段长。物理内存大小为4GB（可用32位表示整个物理内存地址空间）。因此，可以让每个段表项占16+32 = 48位，即6B。由于段表项长度相同，因此段号是可以隐含的，不占内存空间。若段表存放的起始地址为M，则K号段对应的段表项存放的地址为M + K*6

6.3 地址变换

LOAD1,[D]<A>;  //将分段D中A单元内的值读入寄存器1

经过编译程序编译后，形成等价的机器指令：
“取出段号为2，段内地址为1024的内存单元中的内容，放到寄存器1中”

6.4 分段、分页管理的对比

• 页是信息的物理单位。分页的主要目的是为了实现离散分配，提高内存利用率。分页仅仅是系统管理上的需要，完全是系统行为，对用户是不可见的
段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的，用户编程时需要显式地给出段名

• 页的大小固定且由系统决定。段的长度却不固定，决定于用户编写的程序

• 分页的用户进程地址空间是一维的，程序员只需给出一个记忆符即可表示一个地址
  分段的用户进程地址空间是二维的，程序员在标识一个地址时，既要给出段名，也要给出段内地址
  

• 分段比分页更容易实现信息的共享和保护
  不能被修改的代码称为纯代码或可重入代码（不属于临界资源），这样的代码是可以共享的。可修改的代码是不能共享的（比如，有一个代码段中有很多的变量，各进程并发地同时访问可能造成数据不一致）
  

• 访问一个逻辑地址需要几次访存？
  分页（单级页表）：第一次访存——查内存中的页表，第二次访存——访问目标的内存单元。总共两次访存
分段：第一次访存——查内存中的段表，第二次访存——访问目标的内存单元。总共两次访存
  与分页系统类似，分段系统也可以引入快表机制，将近期访问过的段表项放到快表中，这样可以少一次访问，加快地址变换速度

7 段页式存储管理方式

7.1 分页、分段的优缺点分析

	优点	缺点
分页管理	内存空间利用率高，不会产生外部碎片，只会有少量的页内碎片	不方便按照逻辑模块实现信息的共享和保护
分段管理	很方便按照逻辑模块实现信息的共享和保护	如果段长过大，为其分配很大的连续空间会很不方便。另外，段式管理会产生外部碎片

7.2 分段+分页=段页式管理

将进程按逻辑模块分段，再将各段分页（如每个页面4KB），再将内存空间分为大小相同的内存块/页框/页帧/物理块，进程前将各页面分别装入各内存块中

7.3 段页式管理的逻辑地址结构

分段系统的逻辑地址结构由段号和段内地址（段内偏移量）组成

段页式系统的逻辑地址结构由段号、页号、页内地址（页内偏移量）组成。如：

“分段”对用户是可见的，程序员编程时需要显式地给出段号、段内地址。而将各段“分页”对用户是不可见的。系统会根据段内地址自动划分页号和页内偏移量。
因此段页式管理的地址结构是二维的。

段号的位数决定了每个进程最多可以分几个段
页号位数决定了每个段最大有多少页
页内偏移量决定了页面大小、内存块大小是多少

在上述例子中，若系统是按字节寻址的，则
段号占16位，因此在该系统中，每个进程最多有2^16 = 64K个段
页号占4位，因此每个段最多有2^4 = 16页
页内偏移量占12位，因此每个页面\每个内存块大小为2^12 = 4096 = 4KB

7.4 段表、页表

每个段对应一个段表项，每个段表项由段号、页表长度、页表存放块号（页表起始地址）组成。每个段表项长度相等，段号是隐含的
每个页面对应一个页表项，每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等，页号是隐含的

7.5 地址变换