操作系统课程笔记：存储管理 — 文件系统

创建文件：点击新建后，图形化交互进程在背后调用了create系统调用
读文件：将文件数据读入内存，才能让CPU处理（双击后，记事本应用程序通过操作系统提供的“读文件”功能，即read系统调用，将文件数据从外存读入内存，并显示在屏幕上）
写文件：将更改进的文件数据写回外存（在机身应用程序中编辑文件内容，点击“保存”后，记事本应用程序通过操作系统提供的写文件功能，即write系统调用，将文件数据从内存写回外存
删除文件：点了“删除”之后，图形化交互进程通过操作系统提供的“删除文件”功能，即delete系统调用，将文件数据从外存中删除
打开文件：open系统调用
关闭文件：close系统调用
文件共享：使多个用户可以共享使用同一个文件
文件保护：如何保证不同的用户对文件有不同的操作权限

从上往下看，文件应如何存放在外存

操作系统以“块”为单位为文件分配存储空间，因此即使一个文件大小只有10B，但它依然需要占用1KB的磁盘块。外存中的数据读入内存时同样以块为单位

类似于内存分为一个个“内存块”，外存会分为一个个“块/磁盘块/物理块”，每个磁盘块的大小是相等的，每块一般包含2的整数次幂个地址。同样类似的是，文件的逻辑地址也可以分为（逻辑块号，块内地址），操作系统同样需要将逻辑地址转为外存的物理地址（物理块号，块内地址）的形式。块内地址的位数取决于磁盘块的大小

与内存一样，外存也是由一个个存储单元组成的，每个存储单元可以存储一定量的数据（如1B），每个存储单元对应一个物理地址

文件的逻辑结构

类似于数据结构的“逻辑结构”和“物理结构”。如“线性表”就是一种逻辑结构，在用户看来，线性表就是一组有先后关系的元素序列，如a,b,c,d,e…“线性表”这种逻辑结构可以用不同的物理结构实现，如顺序表/链表。顺序表的各个元素在逻辑上相邻，在物理上页相邻；而链表的各个元素在物理上可以是不相邻的。因此，顺序表可以实现“随机访问”，而“链表”无法实现随机访问

可见，算法的具体实现都与逻辑结构物理结构有关（文件也一样，文件的具体实现与文件的逻辑结构、物理结构都有关）

“逻辑结构”，就是指在用户看来，文件内部的数据应该是如何组织起来的。

“物理结构”，指的是在操作系统看来，文件的数据是如何存放在外存中的

无结构文件：文件内部的数据就是一系列二进制流或字符流组成，又称“流式文件”

- 如Windows操作系统的.txt文件

有结构文件：由一组相似的记录组成，又称“记录式文件”。

- 每条记录由若干个数据项组成。如数据库表文件。
- 一般来说，每条记录有一个数据项可作为关键字（作为识别不同记录的ID）。
- 根据各条记录的长度（占用的存储空间）是否相等，又可分为定长记录和可变长记录两种

顺序文件

顺序文件中的记录一个接一个地顺序排列（逻辑上），记录可以是定长的或者可变长的。各个记录在物理上可以顺序存储或链式存储

串结构：记录之间的顺序与关键字无关（通常按记录存入的时间决定记录的顺序）
顺序结构：记录之间的顺序按关键字顺序排列

假设：已经知道了文件的起始地址（也就是第一个记录存放的位置）

思考1：能否快速找到第i个记录对应的地址？（即能否实现随机存取）
思考2：能否快速找到某个关键字对应的记录存放的位置

顺序存储——逻辑上相邻的记录物理上也相邻（类似于顺序表）

- 可变长记录：无法实现随机存取，每次只能从第一个记录开始往后查找
- 定长记录：可实现随机存取。记录长度为L，则第i个记录存放的相对位置是i*L。

- - 若采用串结构，无法快速找到某关键字对应的记录
  - 若采用顺序结构，可以快速找到某关键字对应的记录（如折半查找）

链式存储——逻辑上相邻的记录物理上不一定相邻（类似于链表）

- 无论是定长/可变长记录，都无法实现随机存取，每次只能从第一个记录开始依次往后找

结论：定长记录的顺序文件，若物理上采用顺序存储，则可实现随机存取；若再能保证记录的顺序结构，则可实现快速检索（即根据关键字快速找到对应记录）

注:一般来说，考试题目中所说的“顺序文件”指的是物理上顺序存储的顺序文件。顺序文件的缺点是增加/删除一个记录比较困难（如果是串结构则相对简单）

索引文件

对于可变长记录文件，要找到第i个记录，必须先顺序地查找签i-1条记录，到那时很多应用场景又必须使用可变长记录，如何解决这个问题？

索引表本身是定长记录的顺序文件。因此可以快速找到第i个记录对应的索引项。
可将关键字作为索引号内容，若按关键字顺序排列，则还可以支持按照关键字折半查找。
每当要增加/删除一个记录时，需要对索引表进行修改。由于索引文件有很快的检索速度，因此主要用于对信息处理的及时性要求比较高的场合。
另外，可以用不同的数据项建立多个索引表。如学生信息表中，可用关键字“学号”建立一张索引表，也可以用“姓名”建立一张索引表。这样就可以根据“姓名”快速地检索文件了。

索引顺序文件

思考索引文件的缺点：每个记录对应一个索引表项，因此索引表可能会很大。

比如：文件的每个记录平均只占8B，而每个索引表项占32个字节，那么索引表都要比文件内容本身大4倍，这样对存储空间的利用率就太低了

索引顺序文件是索引文件和顺序文件思想的结合。

索引顺序文件中，同样会为文件建立一张索引表，但不同的是：并不是每个记录对应一个索引表项，而是一组记录对应一个索引表项

多级索引顺序文件

为进一步提高检索效率，可以为顺序文件建立多级索引表。例如，对一个含10^6个记录的文件，可先为该文件建立一张低级索引表，每100个记录分为一组，故低级索引表中共有10000个表项（即10000个定长记录），再把这10000个定长记录分组，每组100个，为建立其顶级索引表，故顶级索引表中共有100个表项

小结

文件目录

目录本身就是一种结构文件，由一条条记录组成。
每条记录对应一个在该放在该目录下的文件
目录文件中的一条记录就是一个“文件控制块（FCB)”

文件控制块 FCB

与进程管理一样，为实现目录管理，操作系统中引入了文件控制块的数据结构

文件控制块（FCB）是用来存放控制文件需要的各种信息的数据结构，以实现“按名存取”。
也需要被存储，方便OS对文件的管理、控制和存取
注意：文件与FCB一一对应
FCB的有序集合称为文件目录，一个FCB就是一个文件目录项。
为了创建一个新文件，系统将分配一个FCB并存放在文件目录中，成为目录项
FCB实现了文件名和文件之间的映射。使用户(用户程序)可以实现“按名存取”
最重要、最基本的还是文件名、文件存放的物理地址

FCB 中的基本信息类

文件名

- ASCII 码（人可以理解），用于标识一个文件的符号名，用户可利用该名字进行存取

文件类型

- 普通文件、系统文件、设备文件等
- 可按内容分为文本文件、视频文件、二进制码文件等
- 注意：扩展名在某些系统中（如 Unix）不做强制要求

大小

- 文件当前的大小（字节、字或块）

FCB 中的存取控制信息类

控制属性

- 文件逻辑结构信息（文件在磁盘中的呈现形式）

- - 有结构还是无结构

- 文件物理结构信息（文件在磁盘中的呈现形式）

- - 存放文件的设备名
  - 文件在外存上的盘块号
  - 指示文件所占用磁盘块数或字节数的文件长度

保护属性

- 用户的访问权限，文件方式访问（可读、可写、可执行、可更新、可删除等）

FCB 中的使用信息类

时间信息

- 文件的建立日期和时间
- 文件上一次修改的日期和时间

其他信息

- 包括当前已打开该文件的进程数，是否被其他进程锁住，文件在内存中是否被修改过但尚未拷贝到盘上

注意： 对于不同操作系统的文件系统，由于功能的不同而可能只含有上述信息中的某些部分。

对目录进行的操作

搜索：当用户要使用一个文件时，系统要根据文件名搜索目录，找到该文件对应的目录项
创建文件：创建一个新文件时，需要在其所属的目录中增加一个目录项
删除文件：当删除一个文件时，需要在目录中删除相应的目录项
显示目录：用户可以请求显示目录的内容，如显示该目录中的所有文件及相应属性
修改目录：某些文件属性保存在目录中，因此这些属性变化时需要修改相应的目录项（如：文件重命名）

目录结构

单级目录结构

早期操作系统并不支持多级目录，整个系统中只建立了一张目录表，每个文件占一个目录项。单机目录实现了“按名存取”，但是不允许文件重命名

显然，单级目录结构不适用于多用户操作系统

两级目录结构

早期的多用户操作系统，采用两级目录结构，每个用户一个目录

主文件目录（MFD，Master File Directory）
用户文件目录（UFD，User File Directory）

两级目录结构允许不同用户的文件重名
可以在目录上实现实现访问限制(检查此时登录的用户名是否匹配)。
两级目录结构依然缺乏灵活性，用户不能对自己的文件进行分类

多级目录结构（树形目录结构） — 最常用/不便于实现目录共享

在树形目录结构中， 从根目录到任何数据文件，都只有一条通路。树的中间节点是目录，叶节点

是文件，依次用“/”连接起来，即构成该文件的路径名

用户（或用户进程）要访问某个文件时要用文件路径名标识文件。

- 文件路径名是个字符串。
- 各级目录之间用"/"隔开

从根目录出发的路径称为绝对路径
从当前目录出发的称为相对路径

- 使用相对路径访问可以减少读磁盘IO操作的次数

系统根据绝对路径一层一层地找到下一级目录。

刚开始从外存读入根目录的目录表;找到“照片”目录的存放位置后，从外存读入对应的目录表:
再找到“2015-08”目录的存放位置，再从外存读入对应目录表:
最后才找到文件“自拍.jpg”的存放位置。

整个过程需要3次读磁盘I/0操作。

很多时候，用户会连续访问同一目录内的多个文件(比如:接连査看“2015-08"目录内的多个照片文件),显然，每次都从根目录开始查找，是很低效的。因此可以设置一个“当前目录”

无环图目录结构 DAG —> 实现文件共享

在树形目录结构的基础上，增加一些指向同一节点的有向边，使整个目录成为一个有向无环图，可以更方便地实现多个用户间的文件共享
可以用不同的文件名指向同一个文件，甚至可以指向同一个目录（共享同一目录下的所有内容）

注意：共享文件不同于复制文件。在共享文件中，由于各用户指向的是同一个文件，因此只要其中一个用户修改了文件数据，那么所有用户都可以看到文件数据的变化

需要为每个空闲节点设置一个共享计数器，用于记录此时有多少个地方在共享该结点

- 用户提出删除结点的请求时，只是删除该用户的FCB，并使共享计数器减1，并不会直接删除共享结点。
- 只有共享计数器减为0时，才删除结点

索引结点 inode（FCB改进）— 将文件名和其他文件信息分开，保存到 inode

其实在查找各级目录的过程中只要用到“文件名”这个信息，只有文件名匹配时，才需要读出文件的其他信息，因此可以考虑让目录表“瘦身”来提升效率

当找到文件名对应的目录项时，才需要将索引结点调入内存。索引结点中记录了文件的各种信息，包括文件在外存中的存放位置，根据“存放位置”即可找到文件

存放在外存中的索引结点称为“磁盘索引结点”
索引结点放入内存后称为“内存索引结点”

- 相比之下内存索引结点中需要增加一些信息，比如：文件是否被修改、此时有几个进程正在访问该文件等

小结

文件的物理结构 — 文件在磁盘中的分配方式

连续分配方式

每一个文件占用一个连续的磁盘块的集合,从而成为一种物理上的顺序文件
每个文件在磁盘上占有一组连续的块
在文件目录中记录存別的起始块号和长度(总共占用几个块)

优点：

- 支持顺序访问和直接访问（即随机访问）
- 连续分配的文件在顺序访问时速度最快

缺点：

- 不方便文件拓展
- 存储空间利用率低，会产生磁盘碎片

如何实现文件的逻辑块号到物理块号的转变?

用户给出要访问的逻辑块号，操作系统找到该文件对应的目录项(FCB)

- 物理块号=起始块号+逻辑块号
- 当然，还需要检查用户提供的逻辑块号是否合法(逻辑块号≥长度就不合法)

优点

缺点

若此时文件A要拓展，需要再增加一个磁盘块(总共需要连续的4个磁盘块)
由于采用连续结构，因此文件A占用的磁盘块必须是连续的。因此只能将文件A全部“迁移”到绿色区域。
结论:物理上采用连续分配的文件不方便拓展

物理上采用连续分配存储空间利用率低，会产生难以利用的磁盘碎片
可以用紧凑来处理碎片，但是需要耗费很大的时间代价

链接分配方式

隐式链接分配方式

文件用链表表示
除了文件的最后一个磁盘块之外，每个磁盘块中都会保存指向下一个盘块的指针
文件目录中记录了文件存放的起始块号和结束块号

- 也可以增加一个字段来表示文件的长度

优点：

- 很方便文件拓展，文件大小可动态增长，不必事先声明文件大小
- 不会有碎片问题，外存利用率高。

缺点：

- 只支持顺序访问，不支持随机访问，查找效率低（seek操作：访问特定盘块需要多次读盘）
- 指向下一个盘块的指针也需要耗费少量的存储空间

如何实现文件的逻辑块号到物理块号的转变?

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项(FCB)

从目录项中找到起始块号(即0号块)，将0号逻辑块读入内存，由此知道1号逻辑块存放的物理块号，于是读入1号逻辑块，再找到2号逻辑块的存放位置......以此类推。因此，读入i号逻辑块，总共需要i+1次磁盘I/O

是否方便拓展文件？

若此时要拓展文件，则可以随便找一个空闲磁盘块，挂到文件的磁盘块链尾，并修改文件的FCB

重要考点显式链接分配方式 — 文件分配表 FAT

把用于链接文件各物理块的指针，显式地存放在一张链接表中

该表在整个磁盘中只有一张，称之为文件分配表(File Allocation Table， FAT)

- 开机时，将FAT读入内存，并常驻内存（所以查询 FAT 并不需要读磁盘操作）

FAT的各个表项在物理连续存储，且每一个表项长度相同，因此“物理块号”字段可以是隐含的。
文件目录中只需记录文件起始块号

优点：

方便文件拓展，不会有碎片问题，外存利用率高
支持顺序访问，支持随机访问
相比于隐式链接来说，地址转换时不需要访问磁盘，因此文件的访问效率更高。

缺点：

文件分配表的需要占用一定的存储空间
磁盘较大时，文件分配表大，占用内存过多

如何实现文件的逻辑块号到物理块号的转变?

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项(FCB)
从目录项中找到起始块
若i>0，则查询内存中的文件分配表FAT，往后找到 i 号逻辑块对应的物理块号
逻辑块号转换成物理块号的过程不需要读磁盘操作

重要考点索引分配方式

链接分配方式虽然解决了连续分配方式所存在的问题，但又出现了另外两个问题，即：

▪ 不能支持高效的直接存取

▪ FAT需占用较大的内存空间

索引分配允许文件离散地分配在各个磁盘块中，系统会为每个文件建立一张索引表，索引表中记录了文件的各个逻辑块对应的物理块

索引表的功能类似于内存管理中的页表—建立逻辑页面到物理页之间的映射关系
索引表存放的磁盘块称为索引块
文件数据存放的磁盘块称为数据块
一个索引表就是磁盘块地址数组,其中第i个条目指向文件的第i块
目录中需要记录文件的索引块是几号磁盘块

注意：在显式链接的链式分配方式中，文件分配表FAT 是一个磁盘对应一张。而索引分配方式中，索引表是一个文件对应一张。因此，索引块占内存空间较小（一次只需读入一个索引块）。

当文件较大时,索引分配优于链接分配方式。
当文件较小时,每建立一个文件,需分配一个索引块,索引块利用率极低。

优点：

索引分配方式可以支持随机访问
文件拓展也很容易实现（只需要给文件分配一个空闲块，并增加一个索引表项即可）
索引表需要占用一定的存储空间

例：假设某个新创建的文件“aaa”的数据依次存放在磁盘块2>5>13>97号磁盘块作为“aaa”的索引块,索引块中保存了索引表的内容

如何实现文件的逻辑块号到物理块号的转换？

用户给出要访问的逻辑块号 i，操作系统找到该文件对应的目录项（FCB）…
从目录项中可知索引表存放位置，将索引表从外存读入内存，并查找索引表即可只 i 号逻辑块在外存中的存放位置。

若每个磁盘块1KB，一个索引表项4B，则一个磁盘块只能存放 256 个索引项。

如果一个文件的大小超过了256块，那么一个磁盘块是装不下文件的整张索引表的，如何解决这个问题？

①链接方案；②多层索引；③混合索引；

一个磁盘块装不下文件的整张索引表？— 链接方案（低效）

如果索引表太大，一个索引块装不下，那么可以将多个索引块链接起来存放

一个磁盘块装不下文件的整张索引表？— 多层索引

将一个大文件的所有索引表（二级索引)的地址放在另一个索引表（一级索引)中

建立多层索引（原理类似于多级页表）。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第四层索引块。
采用 K 层索引结构，且顶级索引表未调入内存，则访问一个数据块只需要 K + 1 次读磁盘操作.
若采用多层索引，则各层索引表大小不能超过一个磁盘块

一个磁盘块装不下文件的整张索引表？—混合索引

多种索引分配方式的结合。例如，一个文件的顶级索引表中，既包含直接地址索引（直接指向数据块），又包含一级间接索引（指向单层索引表）、还包含两级间接索引（指向两层索引表）。

重要考点计算文件最大长度 — 各级索引表最大不能超过一个块

这种结构的索引支持的最大文件长度为65800KB

若顶级索引表还没读入内存：

访问0~7号逻辑块:两次读磁盘；
访问8~263:三次读磁盘；
访问264~65799：四次读磁盘；

对于小文件来说，只需较少的读取磁盘次数就可以访问目标数据块。（一般计算机中小文件更多）

总结与重要考点

要会根据多层索引、混合索引的结构计算出文件的最大长度

- 各级索引表最大不能超过一个块

要能自己分析访问某个数据块所需要的读磁盘次数

- FCB中会存有指向顶级索引块的指针，因此可以根据FCB读入顶级索引块。
- 每次读入下一级的索引块都需要一次读磁盘操作。
- 另外，要注意题目条件--顶级索引块是否已调入内存

逻辑结构 VS 物理结构

文件存储空间管理

存储空间的划分与初始化

安装 Windows 操作系统的时候，一个必经步骤是——为磁盘分区（C: 盘、D: 盘、E: 盘等）

空闲表法 — 适用于“连续分配方式”

如何分配磁盘块？

与内存管理中的动态分区分配很类似，为一个文件分配连续的存储空间。
可采用首次适应、最佳适应、最坏适应等算法来决定要为文件分配哪个区间

如何回收磁盘块？

与内存管理中的动态分区分配很类似，当回收某个存储区时需要有四种情况：

回收区的前后都没有相邻空闲区；
回收区的前后都是空闲区；
回收区前面是空闲区；
回收区后面是空闲区。

总之，回收时需要注意表项的合并问题

空闲链表法

空闲盘块链 — 适用于离散分配物理结构，一次只能摘一个空闲块

操作系统保存着链头、链尾指针

如何分配？

若某文件中请K个盘块，则从链头开始依次摘下K个盘块分配，并修改空闲链的链头指针。

如何回收？

回收的盘块依次挂到链尾，并修改空闲链的链尾指针。

空闲盘区链 — 连续分配、离散分配都适用，可以一次摘下一大片空闲块

操作系统保存着链头、链尾指针

如何分配？

若某文件申请K个盘块，则可以采用首次适应、最佳适应等算法

从链头开始检索，按照算法规则找到一个大小符合要求的空闲盘区分配给文件。
若没有合适的连续空闲块，也可以将不同盘区的盘块同时分配给一个文件
注意分配后可能要修改相应的链指针、盘区大小等数据

如何回收？

若回收区和某个空闲盘区相邻，则需要将回收区合并到空闲盘区中。
若回收区没有和任何空闲区相邻，将回收区作为单独的一个空闲盘区挂到链尾。

位示图法 — 连续/离散都适用

每个二进制位对应一个盘块。

“0”代表盘块空闲“1”代表盘块已分配
位示图一般用连续的“字”来表示

- 如本例中个字的字长是16位，字中的每一位对应一个盘块。
- 可以用(字号，位号)对应一个盘块号。当然有的题目中也描述为(行号，列号)

重要考点盘块号与(字号,位号)相互转换的公式

注意题目条件：盘块号、字号、位号到底是从0开始还是从1开始

如本例中盘块号、字号、位号从0开始，若n表示字长，则

(字号,位号)=(i,j)的二进制位对应的 盘块号 b=ni+j
b号盘块对应的字号i=b/n，位号j=b%n

(0,1)→b=16*0+1=1
(1,10)→ b=16*1+10=26
b=13>i=13/16=0,j=13%16=13
b=31→i=31/16=1,j=31%16=15

如何分配

若文件需要K个块，

顺序扫描位示图，找到K个相邻或不相邻的“0”；
根据字号、位号算出对应的盘块号，将相应盘块分配给文件；
将相应位设置为“1”。

如何回收

根据回收的盘块号计算出对应的字号、位号；
将相应二进制位设为“0”

成组链接法 — UNIX / 大型文件系统

空闲表法、空闲链表法不适用于大型文件系统，因为空闲表或空闲链表可能过大。UNIX系统中采用了成组链接法对磁盘空闲块进行管理。

讲解过程清晰：

成组链接法解析-CSDN博客

空闲盘块的组织

文件卷的目录区中专门用一个磁盘块作为“超级块”，当系统启动时需要将超级块读入内存。并且要保证内存与外存中的“超级块”数据一致。

空闲盘块号栈（超级块）：

- 存放当前可用的一组空闲盘块的盘块号(这里是 300)
- 还存放栈中尚有的空闲盘块（号）数 N
- N 还做栈顶指针

- - N =100 ，指向 S.free(99)

- 每一个分组盘块数有上限，此处为 100

文件区中的所有空闲盘块被分成若干个组，比如，将每100 个盘块作为一组。

- 假定盘上共有10 000 个盘块，每块大小为1 KB，其中第201～7999 号盘块用于存放文件，即作为文件区，这样，该区的最末一组盘块号应为7901～7999；次末组为7801～7900……；第二组的盘块号为301～400；第一组为201～300
- 一个分组中的块号不需要连续

将每一组含有的盘块总数N 和该组所有的盘块号记入其前一组的第一个盘块的 S.free(0)～S.free(99)中。这样，由各组的第一个盘块可链成一条链。
将第一组的盘块总数和所有的盘块号记入空闲盘块号栈中，作为当前可供分配的空闲盘块号
最后一个分组盘块数比其他的要少一个，在S.free(0)中存放“0”，作为空闲盘块链的结束标志
栈是临界资源，每次只允许一个进程访问，因此加了一把锁