内存管理
基础知识
思考:在多道程序环境下,系统中会有多个程序并发执行,也就是说会有多个程序的数据需要同时放到内存中。那么,如何区分各个程序的数据是放在什么地方的呢?
方案:给内存的存储单元编地址,每个地址对应一个存储单元。如果计算机“按字节编址”,则每个存储单元大小为 1字节,即 1B,即 8个二进制位
常用的数量单位:
2
10
=
1
K
(千)
2
20
=
1
M
(兆,百万)
2
30
=
1
G
(十亿,千兆)
2^{10} = 1K(千)\\ 2^{20} = 1M (兆,百万)\\ 2^{30} = 1G (十亿,千兆)
210=1K(千)220=1M(兆,百万)230=1G(十亿,千兆)
例:一台手机/电脑 有 4GB 内存。
由 1G = 230 知,4G指4 × \times × 230,那么4GB 指该内存中可以存放 4 × \times × 230B 。如果是按字节编址的话,也就是有 4 × \times × 230 = 232个“小房间”,则需要 232个地址才能全部标识,所以地址需要用 32 个二进制位来表示(0~ 232 -1)
内存空间的分配与回收
操作系统负责内存空间的分配与回收
如一个作业要调入内存中,很多位置都可以放,那应该放在哪里?
操作系统要怎么记录哪些内存区域已经被分配出去了,哪些又还空闲?
当进程运行结束之后,如何将进程占用的内存空间回收?
连续分配管理方式
单一连续分配
在单一连续分配方式中,内存被分为系统区和用户区。
系统区通常位于内存的低地址部分,用于存放操作系统相关数据;用户区用于存放用户进程相关数据。
内存中只能有一道用户程序,用户程序独占整个用户区空间。
**优点:**实现简单;无外部碎片;可以采用覆盖技术扩充内存;不一定需要采取内存保护(eg:早期的 PC 操作系统 MS-DOS)。
缺点:只能用于单用户、单任务的操作系统中;有内部碎片;存储器利用率极低。
(**注:**分配给某进程的内存区域中,如果有些部分没有用上,就是“内部碎片”。)
固定分区分配
出现了支持多道程序的系统后,为了能在内存中装入多道程序,且这些程序之间又不会相互干扰,于是将整个用户空间划分为若干个固定大小的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。
固定分区分配分为分区大小相等、分区大小不等两种。
分区大小相等:缺乏灵活性,但是很适合用于用一台计算机控制多个相同对象的场合
分区大小不等:增加了灵活性,可以满足不同大小的进程需求。根据常在系统中运行的作业大小情况进行划分
操作系统需要建立一个数据结构——分区说明表,来实现各个分区的分配与回收。每个表项对应一个分区,通常按分区大小排列。每个表项包括对应分区的大小、起始地址、状态(是否已分配)。(用数据结构的数组或链表即可表示这个表)
**优点:**实现简单,无外部碎片。
**缺点:**a. 当用户程序太大时,可能所有的分区都不能满足需求,此时不得不采用覆盖技术来解决,但这又会降低性能;b. 会产生内部碎片,内存利用率低。
动态分区分配
动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。
使用空闲分区表或空闲分区链来记录内存的使用情况。
动态分区分配没有内部碎片,但是有外部碎片。
内部碎片,分配给某进程的内存区域中,如果有些部分没有用上。
外部碎片,是指内存中的某些空闲分区由于太小而难以利用。
动态分区分配算法
当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?
把一个新作业装入内存时,须按照一定的动态分区分配算法,从空闲分区表(或空闲分区链)中选出一个分区分配给该作业。
1、首次适应算法(First Fit)
**算法思想:**每次都从低地址开始查找,找到第一个能满足大小的空闲分区。
如何实现:空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
2、最佳适应算法(Best Fit)
**算法思想:**由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区,即,优先使用更小的空闲区。
**如何实现:**空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区
缺点:每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。
3、最坏适应算法(Worst Fit)
又称 最大适应算法(Largest Fit)
**算法思想:**为了解决最佳适应算法的问题——即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。
**如何实现:**空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
缺点:每次都选最大的分区进行分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。
4、邻近适应算法(Next Fit)
**算法思想:**首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。
**如何实现:**空闲分区以地址递增的顺序排列(可排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。
动态分区回收
一句话总结:相邻的空闲分区要合并
非连续分配管理方式
基本分页存储管理
一、基本概念
页框:将内存空间分为一个个大小相等的分区(比如:每个分区4KB),每个分区就是一个“页框”,即内存块大小**。
页框号:每个页框有一个编号,即**“页框号”,页框号从0开始**。
页、页面:将进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个“页”或“页面”** 。
页号:每个页面也有一个编号,即“页号”,页号也是从0开始。
页表:为了能知道进程的每个页面在内存中存放的位置,操作系统要为每个进程建立一张页表**。一个进程对应一张页表。
页面和页框的关系:操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。各个页面不必连续存放,可以放到不相邻的各个页框中。
(注:进程的最后一个页面可能没有一个页框那么大。也就是说,分页存储有可能产生内部碎片,因此页框不能太大,否则可能产生过大的内部碎片造成浪费)
页表项:进程的每个页面对应一个页表项,每个页表项由“页号”和“块号”组成。页表记录进程页面和实际存放的内存块**之间的映射关系,每个页表项的长度是相同的
GPT:
页表建立了页面和页框之间的关系,这种说法对吗?
是的,页表是操作系统中用于实现虚拟内存管理的一种数据结构,它建立了页面和页框之间的关系。当程序在运行时请求访问某个虚拟地址的内容时,操作系统就会根据页表来将虚拟地址转化为物理地址,然后找到对应的实际物理内存中的页面,最终完成对该内存地址的访问。因此,页表是虚拟内存技术中的关键。
二、常见问题
1、如何计算页表项的大小
题目:假设某系统物理内存大小为 4GB,页面大小为 4KB,则每个页表项至少应该为多少字节?
解答: 内存块大小=页面大小=4KB= 212 B
4GB 的内存总共会被分为 232 / 212 = 220个内存块
内存块号的范围应该是 0 ~ 220 -1
内存块号至少要用 20 bit 来表示(一个二进制位表示一个内存块)
至少要用3B来表示块号(3$\times$8=24bit)
(注意:页表记录的只是内存块号,而不是内存块的起始地址!J 号内存块的起始地址 = J × \times × 内存块大小)
假设页表中的各页表项从内存地址为 X 的地方开始连续存放,则页表中的页号可以是隐含的,即页号不占用存储空间
因此每个页表项占3B,存储整个页表至少需要 3 × \times ×(n+1)B
重要重要重要考点:由 计算机中内存块的数量 计算 页表项中块号至少占多少字节
2、如何实现地址的转换
进程在内存中连续存放时,操作系统是如何实现逻辑地址到物理地址的转换的?
重定位寄存器+目标逻辑地址
将进程地址空间分页之后,操作系统该如何实现逻辑地址到物理地址的转换?
特点:虽然进程的各个页面是离散存放的,但是页面内部是连续存放的
如果要访问逻辑地址 A,则
①确定逻辑地址A 对应的“页号”P
②找到P号页面在内存中的起始地址(需要查页表,根据页号P查询对应的块号)
③确定逻辑地址A 的“页内偏移量”W
逻辑地址A 对应的物理地址 = P号页面在内存中的起始地址+页内偏移量W
3、如何确定一个逻辑地址对应的页号、页内偏移量?
题目:在某计算机系统中,页面大小是50B。某进程逻辑地址空间大小为200B,则逻辑地址 110 对应的页号、页内偏移量是多少?
页号 = 逻辑地址 / 页面长度 (取除法的整数部分) 页号 = 110 / 50 = 2
页内偏移量 = 逻辑地址 % 页面长度(取除法的余数部分) 页内偏移量 = 110 % 50 = 10
逻辑地址 可以拆分为(页号,页内偏移量),通过页号查询页表,可知页面在内存中的起始地址
页面在内存中的起始地址+页内偏移量 = 实际的物理地址
三、逻辑地址结构
分页存储管理的逻辑地址结构如下所示:
地址结构包含两个部分:前一部分为页号,后一部分为页内偏移量 W。
如果有 K位表示“页内偏移量”,则说明在该系统中,一个页面的大小是 2K个存储单元
如果有 M 位表示“页号”,则说明在该系统中,一个进程最多允许有 2M 个页面
四、地址变换机构
基本分段存储管理
进程的地址空间:按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址.
内存分配规则:以段为单位进行分配,每个段在内存中占据连续空间,但各段之间可以不相邻。
分段系统的逻辑地址结构由段号(段名)和段内地址(段内偏移量)所组成。如:
段号的位数决定了每个进程最多可以分几个段,段内地址位数决定了每个段的最大长度是多少
在上述例子中,若系统是按字节寻址的,则段号占16位,因此在该系统中,每个进程最多有 216 = 64K 个段,段内地址占 16位,因此每个段的最大长度是 216 = 64KB。
段表:
1、每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。
2、各个段表项的长度是相同的。因此段号可以是隐含的,不占存储空间。
分段、分页管理的对比:
1、页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理上的需要,完全是系统行为,对用户是不可见的。
段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。
2、页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。
3、分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。
分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。
4、分段比分页更容易实现信息的共享和保护。
(不能被修改的代码称为纯代码或可重入代码,不属于临界资源,这样的代码是可以共享的。可修改的代码是不能共享的)
5、访问一个逻辑地址需要几次访存?
分页(单级页表):第一次访存——查内存中的页表,第二次访存——访问目标内存单元。总共两次访存
分段:第一次访存——查内存中的段表,第二次访存——访问目标内存单元。总共两次访存
6、与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一次访问,加快地址变换速度。
基本段页式存储管理
分段+分页=段页式管理
段页式管理的逻辑地址结构
段号的位数决定了每个进程最多可以分几个段,页号位数决定了每个段最大有多少页
页内偏移量决定了页面大小、内存块大小是多少
在上述例子中,若系统是按字节寻址的,则段号占16位,因此在该系统中,每个进程最多有 216 = 64K 个段,页号占4位,因此每个段最多有 24 = 16页,页内偏移量占12位,因此每个页面\内存块大小为 212 = 4096 = 4KB。
段表、页表
每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。
每个页面对应一个页表项,每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等,页号是隐含的。
内存空间的扩充
覆盖技术、交换技术、虚拟存储技术
游戏 GTA 的大小超过 60GB,按理来说这个游戏程序运行之前需要把 60GB数据全部放入内存。然而,实际我的电脑内存才 4GB,但为什么这个游戏可以顺利运行呢?—— 虚拟技术(操作系统的虚拟性)
虚拟存储技术
传统存储管理方式的特征、缺点:
**一次性:**作业必须一次性全部装入内存后才能开始运行。这会造成两个问题:①作业很大时,不能全部装入内存,导致大作业无法运行;②当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降。
**驻留性:**一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。
基于局部性原理,在程序装入时,可以将程序中很快会用到的部分装入内存,暂时用不到的部分留在外存,就可以让程序开始执行。
虚拟内存:
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。
在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存。
易混知识点:
虚拟内存的最大容量是由计算机的地址结构(CPU寻址范围)确定的
虚拟内存的实际容量 = min(内存和外存容量之和,CPU寻址范围)
如:某计算机地址结构为32位,按字节编址,内存大小为512MB,外存大小为2GB。
则虚拟内存的最大容量为 232 B = 4GB
虚拟内存的实际容量 = min (232B, 512MB+2GB) = 2GB+512MB
虚拟内存有一下三个主要特征:
多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量。
如何实现虚拟内存技术:
虚拟内存技术,允许一个作业分多次调入内存。如果采用连续分配方式,会不方便实现。因此,虚拟内存的实现需要建立在离散分配的内存管理方式基础上。
请求分页存储管理、请求分段存储管理、请求段页式存储管理。
和基本分页存储管理、基本分段存储管理、基本段页式存储管理的主要区别:
在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。
即操作系统要提供请求调页(或请求调段)功能和页面置换(或段置换)的功能。
请求分页存储管理
一、页表机制
二、缺页中断机构
在请求分页系统中,每当要访问的页面不在内存时,便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。
此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列。
如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项。
三、地址变换机构
新增步骤1:请求调页(查到页表项时进行判断)
新增步骤2:页面置换(需要调入页面,但没有空闲内存块时进行)
新增步骤3:需要修改请求页表中新增的表项
四、页面置换算法
最佳置换算法(OPT)
先进先出算法(FIFO)
最近最久未使用置换算法(LRU)
时钟置换算法(CLOCK)
改进型的时钟置换算法
页面的换入、换出需要磁盘I/O,会有较大的开销,因此好的页面置换算法应该追求更少的缺页率。
1、最佳置换算法(OPT)
每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。
最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,最佳置换算法是无法实现的。
2、先进先出算法(FIFO)
先进先出置换算法(FIFO):每次选择淘汰的页面是最早进入内存的页面
实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。
只有 FIFO 算法会产生 Belady 异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此,算法性能差。
Belady 异常——当为进程分配的物理块数增大时,缺页次数不减反增的异常现象
3、最近最久未使用置换算法(LRU)
最近最久未使用置换算法(LRU,least recently used):每次淘汰的页面是最近最久未使用的页面
实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间t。当需要淘汰一个页面时,选择现有页面中 t 值最大的,即最近最久未使用的页面。
该算法的实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大。
4、时钟置换算法(CLOCK)
最佳置换算法性能最好,但无法实现;先进先出置换算法实现简单,但算法性能差;最近最久未使用置换算法性能好,是最接近OPT算法性能的,但是实现起来需要专门的硬件支持,算法开销大。
时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法(NRU,Not Recently Used)
为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置为1。当需要淘汰一个页面时,只需检查页的访问位。如果是0,就选择该页换出;如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK 算法选择一个淘汰页面最多会经过两轮扫描)
5、改进型的时钟置换算法
简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,
就不需要执行I/O操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。
在其他条件都相同时,应优先淘汰没有修改过的页面
算法规则:将所有可能被置换的页面排成一个循环队列
第一轮:从当前位置开始扫描到第一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位
第一优先级:最近没访问,且没修改的页面
第二轮:若第一轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。本轮将所有扫描过的帧访问位设为0
第二优先级:最近没访问,但修改过的页面
第三轮:若第二轮扫描失败,则重新扫描,查找第一个(0, 0)的帧用于替换。本轮扫描不修改任何标志位
第三优先级:最近访问过,但没修改的页面
第四轮:若第三轮扫描失败,则重新扫描,查找第一个(0, 1)的帧用于替换。
第四优先级:最近访问过,且修改过的页面
由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择一个淘汰页面最多会进行四轮扫描
请求分段存储管理(略)
请求段页式存储管理(略)
地址重定位
操作系统需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换。
为了使编程更方便,程序员写程序时应该只需要关注指令、数据的逻辑地址。而逻辑地址到物理地址的转换(这个过程称为地址重定位)应该由操作系统负责,这样就保证了程序员写程序时不需要关注物理内存的实际情况。
绝对装入
在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。
绝对装入只适用于单道程序环境。程序中使用的绝对地址,可在编译或汇编时给出,也可由程序员直接赋予。通常情况下都是编译或汇编时再转换为绝对地址。
可重定位装入
静态重定位:又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)。
静态重定位的特点是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业。作业一旦进入内存后,在运行期间就不能再移动,也不能再申请内存空间。
动态运行时装入
动态重定位:又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。
采用动态重定位时允许程序在内存中发生移动。
Windows 11采用的地址重定位方式是可重定位装入(Relocatable load)。
GPT:
问:编译、链接、装入等的顺序是什么
答:在传统的编译和链接模型中,源代码经过以下的步骤才能变成可执行程序:
- 预处理:将源文件进行预处理,例如去除注释、宏替换等。
- 编译:将预处理后的源文件翻译为汇编语言或机器语言形式,并生成目标文件。
- 链接:将目标文件中引用的外部符号与其他模块中定义的符号进行符号解析,生成最终可执行文件。
- 装入:操作系统加载可执行文件到内存,并启动程序执行。
这个过程也被称为“编译链接过程”。以下是具体的步骤说明:
- 预处理:C/C++等编译器会先将源代码进行预处理,将头文件包含、宏展开等操作完成。
- 编译:编译器将预处理后的代码进行编译,生成汇编代码或机器码,并将其打包存储在目标文件中。目标文件中还包含了一些元信息,如符号表和重定位表等。
- 链接:目标文件中可能许多外部符号没有定义,需要链接器将这些未定义的符号和其他模块中定义的符号进行符号解析,生成可执行文件。符号解析过程主要通过重定位表来完成。
- 装入:操作系统负责将生成的可执行文件加载到内存中,完成地址重定位、内存保护等操作,并启动执行程序的入口点。
编译链接过程的具体实现方式因编程语言和平台不同而有所变化,但总体上都是遵循以上几个步骤。
内存保护
操作系统需要提供内存保护功能。保证各进程在各自存储空间内运行,互不干扰
两种方法:
1、在CPU中设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU检查是否越界。
2、采用重定位寄存器(又称基址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。
笔记总结参考:王道操作系统