王道OS-文件管理

1 文件和文件系统

1.1 文件的属性

文件：一组有意义的信息的集合

文件名：由创建文件的用户决定文件名，主要是为了方便用户找到文件，同一目录下不允许有重名文件

标识符：一个系统内的各文件标识符唯一，对用户来说毫无可读性，因此标识符只是操作系统用于区分各个文件的一种内部名称

类型：指明文件的类型

位置：文件的存放路径（让用户使用）、在外存中的存放地址（操作系统使用，对用户不可见）

大小：指明文件大小

创建时间、上次修改时间、文件所有者信息

保护信息：对文件进行保护的访问控制信息

1.2 文件之间应该怎样组织起来

1.3 操作系统应该向上提供哪些功能

1.4 操作系统需要提供的其他文件管理功能

• 文件共享

• 文件保护

2 文件的逻辑结构

2.1 无结构文件

文件内部的数据就是一系列二进制流或者字符流组成。又称“流式文件”。如：Windows操作系统中的.txt文件

2.2 有结构文件

由一组相似的记录组成，又称“记录式文件”。每条记录由若干个数据项组成。如：数据库表文件。一般来说，每条记录有一个数据项可作为关键字（作为识别不同记录的ID）。根据各条记录的长度（占用的存储空间）是否相等，又可分为定长记录和可变长记录两种

2.2.1 顺序文件

文件中的记录一个接一个地顺序排列（逻辑上），记录可以是定长的或可变长的。各个记录在物理上可以顺序存储或链式存储

2.2.2 索引文件

索引表本身是定长记录的顺序文件。因此可以快速找到第i个记录对应的索引项
可将关键字作为索引号内容，若按关键字顺序排列，则还可以支持按照关键字折半查找
每当要增加/删除一个记录时，需要对索引进行修改。由于索引文件有很快的检索速度，因此主要用于对信息处理的及时性要求比较高的场合

另外，可用不同的数据项建立多个索引表。如：学生信息表中，可用关键字“学号”建立一张索引表。也可用“姓名”建立一张索引表。这样就可以根据“姓名”快速地检索文件了

2.2.3 顺序索引文件

索引顺序文件是索引文件和顺序文件思想的结合。索引顺序文件中，同样会为文件建立一张索引表，但不同的是：并不是每个记录对应一个索引表项，而是一组记录对应一个索引表项

检索效率分析：

若一个顺序文件有10000个记录，则根据关键字检索文件，只能从开头开始顺序查找（这里指的并不是定长记录、顺序结构的顺序文件），平均须查找5000个记录。
若采用索引顺序文件结构，可把10000个记录分为100组，每组100个记录。则须要先顺序查找索引表找到分组（共100个分组，因此索引表长度为100，平均需要查50次），找到分组后，再在分组中顺序查找记录（每个分组100个记录，因此平均需要查50次）。可见，采用索引顺序文件结构后，平均查找次数减少为50+50=100次
同理，若文件有10^6个记录，则可分为1000个分组，每个分组1000个记录。根据关键字检索一个记录平均需要查找500+500=1000次。这个查找次数依然很多，如何解决呢？

多级索引顺序文件

为了进一步提高检索效率，可以为顺序文件建立多级索引表。例如，对于一个含10^6个记录的文件，可先为该文件建立一张低级索引表，每100个记录为一组，故低级索引表中共有10000个表项（即10000个定长记录），再把这10000个定长记录分组，每组100个，为其建立顶级索引表，故顶级索引表中共有100个表项

3 文件目录

3.1 文件控制块

文件控制块(FCB)：为了能对一个文件进行正确的存取，必须为文件设置用于描述和控制文件的数据结构

FCB中包含了文件的基本信息（文件名、物理地址、逻辑地址、物理结构），存取控制信息（是否可读/写、禁止访问的用户名单等），使用信息（如文件的建立时间、修改时间等）
最重要，最基本的还是文件名、文件存放的物理地址

需要对目录进行哪些操作？
搜索：当用户要使用一个文件时，系统要根据文件名搜索目录，找到该文件对应的目录项
创建文件：创建一个新文件时，需要在其所属的目录中增加一个目录项
删除文件：当删除一个文件时，需要在目录中删除相应的目录项
显示目录：用户可以请求显示目录的内容，如显示该目录中的所有文件及相应属性
修改目录：某些文件属性保存在目录中，因此这些属性变化时需要修改相应的目录项（如：文件重命名）

3.2 简单的文件目录

3.2.1 单级目录结构

早期操作系统并不支持多级目录，整个系统中只建立一张表，每个文件占一个目录项

单级目录实现了“按名存取”，但是不允许文件重名

在创建一个文件时，需要先检查目录表中有没有重名文件，确定不重名后才能允许建立文件，并将新文件对应的目录项插入目录表中

显然，单级目录结构不适用于多用户操作系统

3.2.2 两级目录结构

早期的多用户操作系统，采用两级目录结构。分为主文件目录（MFD）和用户文件目录（UFD）

3.3 树形目录

树形目录结构可以很方便地对文件进行分类，层次结构清晰，也能更有效得进行文件的管理和保护。但是，树形结构不便于实现文件的共享，为此，提出了“无环图目录结构”

3.5 无环图目录

可以用不同的文件名指向同一个文件，甚至可以指向同一个目录（共享同一目录下的所有内容）
需要为每个共享节点设置一个共享计数器，用于记录此时有多少个地方在共享该结点。用户提出删除结点的请求时，只是删除该用户的FCB、并使共享计数器减1，并不会直接删除共享结点
只有共享计数器减为0时，才删除结点
注意：共享文件不同于复制文件。在共享文件中，由于各用户指向的是同一个文件，因此只要其中一个用户修改了文件数据，那么所有用户都可以看到文件数据的变化

3.6 索引结点（FCB的改进）

有何好处？
假设一个FCB是64B，磁盘块的大小为1KB，则每个盘块中只能存放16个FCB。若一个文件目录中共有640个目录项，则共需要占用640/16=40个盘块。因此按照某文件名检索该目录，平均需要查询320个目录项，平均需要启动磁盘20次（每次磁盘I/O读入一块）

若使用索引结点机制，文件名占14B，索引结点指针占2B，则每个盘块可存放64个目录项，那么按文件名检索目录平均只需要读入320/64=5磁盘块。显然，这将大大提升文件检索速度

当找到文件名对应的目录项时，才需要将索引结点调入内存，索引结点中记录了文件的各种信息，包括文件在外存中的存放位置，根据“存放位置”即可找到文件
存放在外存中的索引结点称为“磁盘索引结点”，当索引结点放入内存后称为“内存索引结点”
相比之下内存索引结点中需要增加一些信息，比如：文件是否被修改、此时有几个进程正在访问该文件等

4 文件的物理结构

4.1 文件块、磁盘块

在内存管理中，进程的逻辑地址被空间分为一个个页面
同样的，在外存管理中，为了方便对文件数据的管理，文件的逻辑地址空间也被分为了一个个的文件“块”
于是文件的逻辑地址也可以表示为（逻辑块号、块内地址）的形式

4.2 文件分配方式

4.2.1 连续分配

连续分配方式要求每个文件在磁盘上占有一组连续的块

优点：支持顺序访问和直接访问（即随机访问）；连续分配的文件在顺序访问时速度最快
缺点：不方便文件拓展；存储空间利用率低，会产生磁盘碎片

用户给出要访问的逻辑块号，操作系统找到该文件对应的目录项（FCB）…
物理块号=起始块号+逻辑块号
当然，还需要检查用户提供的逻辑块号是否合法（逻辑块号>=长度就不合法）

优点

读取某个磁盘块时，需要移动磁头。访问的两个磁盘块相隔越远，移动磁头所需时间就越长

结论：连续分配的文件在顺序读/写时速度最快

缺点1

若此时文件A要拓展，需要再增加一个磁盘块（总共需要连续的4个磁盘块）。由于采用连续结构，因此文件A占用的磁盘块必须是连续的
因此只能将文件A全部“迁移”到绿色区域

结论：物理上采用连续分配的文件不方便拓展

缺点2

结论：物理上采用连续分配，存储空间利用率低，会产生难以利用的磁盘碎片
可以用紧凑来处理碎片，但是需要耗费很大的时间代价

4.2.2 链接分配

链接分配采取离散分配的方式，可以为文件分配离散地磁盘块。分为隐式链接和显示链接两种

4.2.2.1 隐式链接（默认方式）

优点：很方便文件拓展，不会有碎片问题，外存利用率高

缺点：只支持顺序访问，不支持随机访问，查找效率低，指向下一个盘块的指针也需要消耗少量的存储空间

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项（FCB）

从目录项中找到起始快（即0号块），将0号逻辑块读入内存，由此知道1号逻辑块存放的物理块号，于是读入1号逻辑块，再找到2号逻辑块的存放位置…以此类推
因此，读入i号逻辑块，总共需要i+1次磁盘I/O

结论：采用链式分配（链式链接）方式的文件，只支持顺序访问，不支持随机访问，查找效率低。另外，指向下一个盘块的指针也需要耗费少量的存储空间

结论：采用隐式链接的链接分配方式，很方便文件拓展。另外，所有的空闲磁盘块都可以被利用，不会有碎片问题，外存利用率高

4.2.2.2 显式链接

优点：很方便文件拓展，不会有碎片问题，外存利用率高，并且支持随机访问。相比于隐式链接来说，地址转换时不需要访问磁盘空间，因此文件的访问效率更高

缺点：文件分配表需要占用一定存储空间

假设某个新创建的文件“bbb”依次存放在磁盘块4->23->3

注意：一个磁盘仅设置一张FAT。开机时，将FAT读入内存，并常驻内存。FAT的各个表项在物理上连续存储，且每一个表项长度相同，因此“物理块号”字段可以是隐含的

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项（FCB）

从目录项中找到起始块号，若i>0，则查询内存中的文件分配表FAT，往后找到i号逻辑块对应的物理块号。逻辑块号转换成物理块号的过程不需要读磁盘操作

结论：采用链式分配（显示链接）方式的文件，支持顺序访问，也支持随机访问（想访问i号逻辑块时，并不需要依次访问之前的0~i-1号逻辑块），由于块号转移的过程不需要访问磁盘因此相比于隐式链接来说，访问速度会快很多

显然，显示链接也不会产生外部碎片，也可以方便地对文件进行拓展

4.3 索引分配

索引分配允许文件离散地分配在各个磁盘块中，系统会为每个文件建立一张索引表，索引表中记录了文件的各个逻辑块对应的物理块（索引表的功能类似于内存管理中的页表——建立逻辑页面到物理页之间的映射关系）。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块

假设某个新创建的文件“aaa”的数据依次存放在磁盘块2->5->13->9。7号磁盘块作为“aaa”的索引块，索引块中保存了索引表的内容

注：在显式链接的链式分配方式中，文件分配表FAT是一个磁盘对应一张。而索引分配方式中，索引表是一个文件对应一张

可以用固定的长度表示物理块号（如：假设磁盘总容量为1TB=2^40B，磁盘块大小为1KB，则共有2 ^30个磁盘块，则可用4B表示磁盘块号），因此，索引表中的“逻辑块号”可以是隐含的

4.3.1 如何实现文件的逻辑块号到物理块号的转换？

用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项（FCB）

从目录项中可知索引表存放位置，将索引表从外存读入内存，并查找索引表即可只i号逻辑块在外存中的存放位置

可以，索引分配方式可以支持随机访问。文件拓展也很容易实现（只需要给文件分配一个空闲块，并增加一个索引表项即可）但是索引表需要占用一定的存储空间

4.3.2

4.3.2.1 链接方案

定义：如果索引表太大，一个索引块装不下，那么可以将多个索引块链接起来存放

假设磁盘块大小为1KB，一个索引表项占4B，则一个磁盘块只能存放256个索引项
若一个文件大小为256 * 256KB=64MB
该文件共有256 * 256个块，也就对应256*256个索引项，也就需要256个索引块来储存，这些索引块用链接方式连起来
若想要访问文件的最后一个逻辑块，就必须找到最后一个索引块（第256个索引块），而各个索引块之间是用指针链接起来的，因此必须先顺序地读入前255个索引块

4.3.2.2 多层索引

定义：建立多层索引（原理类似于多级页表）。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第四层索引块

假设磁盘块大小为1KB，一个索引表项占4B，则一个磁盘块只能存放256个索引项

若某文件采用两层索引，则该文件的最大长度可以到256 * 256 * 1KB = 65535KB = 64MB
可根据逻辑块号算出应该查找索引表中的哪个表项。
如：要访问1026号逻辑块，则1026/256=4,1026%256=2
因此可以先将一级索引表调入内存，查询4号表项，将其对应的二级索引表调入内存，再查询二级索引表的2号表项即可知道1026号逻辑块存放的磁盘块号了
访问目标数据块。需要三次磁盘I/O（采用K层索引结构，且顶级索引表未调入内存，则访问一个数据块只需要K+1次读磁盘操作）

若采用三层索引，则文件的最大长度 为
256 * 256 * 256 * 1KB = 16GB

4.3.2.3 混合索引

定义：多种索引分配方式的结合。例如，一个文件的顶级索引表中，既包含直接地址索引（直接指向数据块），又包含一级间接索引（指向单层索引表）、还包含两级间接索引（指向两层索引表）

若顶级索引表还没读入内存
访问0~7号逻辑块：两次读磁盘
访问8~263：三次读磁盘
访问264~65799：四次读磁盘
（对于小文件，只需要较少的读磁盘次数就可以访问目标数据块。一般计算机中小文件更多）

4.3.3 总结

索引分配允许文件离散地分配在各个磁盘块中，系统会为每个文件建立一张索引表，索引表中记录了文件的各个逻辑块对应的物理块（索引表的功能类似于内存管理中的页表——建立逻辑页面到物理页之间的映射关系）。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块
若文件太大，索引表项太多，可以采取以下三种方法解决：

• 链接方案：如果索引太大，一个索引块装不下，那么可以将多个索引块链接起来存放。缺点：若文件很大，索引表很长，就需要将很多索引块链接起来。想要找到i号索引块，必须先依次读入0~i-1号索引块，这就导致磁盘I/O次数过多，查找效率低下
• 多层索引：建立多层索引（原理类似于多级页表）。使第一层索引块指向第二层的索引块。还可以根据文件大小的要求再建立第三层、第四层索引块。采用K层索引结构，且顶级索引表未调入内存，则访问一个数据块只需要K+1次读磁盘操作。缺点：即使是小文件，访问一个数据块依然需要K+1次读磁盘
• 混合索引：多种索引分配方式的结合。例如，一个文件的顶级索引中，既包含直接地址索引（直接指向数据块），又包含一级间接索引（指向单层索引表）、还包含两级间接索引（指向两层索引表）。优点：对于小文件来说，访问一个数据块所需的读磁盘次数更少

超级超级超级重要考点：

• 要会根据多层索引、混合索引的结构计算出文件的最大长度（Key：各级索引最大不能超过一个块）
• 要能自己分析访问某个数据块所需要的读磁盘次数（Key：FCB中会存有指向顶级索引块的指针，因此可以根据FCB读入顶级索引块。每次读入下一级的索引块都需要一次读磁盘操作。另外，要注意题目条件——顶级索引块是否已调入内存）

5 文件存储空间管理

5.1 存储空间的划分与初始化

安装Windows操作系统的时候，一个必经步骤是——为磁盘分区（C盘、D盘、E盘）

5.2 空闲区表法

如何分配磁盘块：与内存管理中的动态分区分配很类似，为一个文件分配连续的存储空间。同样可采用首次适应、最佳适应、最坏适应等算法来决定要为文件分配哪个区间

如何回收磁盘块：与内存管理中的动态分区分配很类似，当回收某个存储区时需要有四种情况——①回收区的前后都没有相邻空闲块；②回收区的前后都是空闲区；③回收区前面是空闲区；④回收区后面是空闲区。总之，回收时需要注意表项的合并问题

5.3 空闲链表法

5.3.1 空闲盘块链

以盘块为单位组成一条空闲链（适用于离散分配的物理结构。为文件分配多个盘块时可能要重复多次操作）

操作系统保存着链头、链尾指针

如何分配：若某个文件申请K个盘块，则从链头开始依次摘下K个盘块分配，并修改空闲链的链头指针

如何回收：回收的盘块依次挂到链尾，并修改空闲链的链尾指针

5.3.2 空闲盘区链

以盘区为单位组成一条空闲链（离散分配、连续分配都适用。为一个文件分配多个盘块时效率更高）

操作系统保存着链头、链尾指针

如何分配：若某文件申请K个盘块，则可以采用首次适应、最佳适应等算法，从链头开始检索，按照算法规则找到一个大小符合要求的空闲盘区，分配给文件。若没有合适的连续空闲块，也可以将不同盘区的盘块同时分配给一个文件，注意分配后可能要修改相应的链指针、盘区大小等数据

如何回收：若回收区和某个空闲盘区相邻，则需要将回收区合并到空闲盘区中。若回收区没有和任何空闲区相邻，将回收区作为单独的一个空闲盘区挂到链尾

5.4 位示图法（重点）

连续、离散分配都能使用

位示图：每个二进制位对应一个磁盘块。在本例中，“0”代表磁盘空闲块，“1”代表磁盘块已分配。位视图一般用连续的“字”来表示，如本例中一个字的字长是16位，字中的每一位对应一个盘块。因此可以用（字号，位号）对应一个盘块号。当然有的题目中也描述为（行号、列号）

重要重要重要：要能自己推出盘块号与（字号、位号）相互转换的公式
注意题目条件：盘块号、字号、位号到底是从0开始还是从1开始

如本例中盘块号、字号、位号从0开始，若n表示字长，则…

（字号，位号）=（i，j）的二进制位对应的盘块号b = ni + j
b号盘块对应的字号 i = b/n，位号 j = b % n

如何分配：若文件需要K个块，①顺序扫描位示图，找到K个相邻或不相邻的“0”；②根据字号、位号算出对应的盘块号，将相应盘块分配给文件；③将相应位设置为“1”

如何回收：①根据回收地盘块号计算出对应的字号、位号；②将相应二进制位设为“0”

5.5 成组链接法（了解）

空闲表法、空闲链表法不适用于大型文件系统，因为空闲表或空闲链表可能过大。UNIX系统中采用了成组链接法对磁盘空闲块进行管理

文件卷的目录区中专门用一个磁盘块作为“超级块”，当系统启动时需要将超级块读入内存。并且要保证内存与外存中的“超级块”数据一致

6 文件的基本操作

6.1 创建文件

进行Create系统调用时，需要提供的几个主要参数：
1.所需的外存空间大小（如：一个盘块，即1KB）
2.文件存放路径（“D：/Demo”）
3.文件名（这个地方默认为“新建文本文档.txt”）

操作系统在处理Create系统调用时，主要做了两件事：

• 在外存中找到文件所需的空间（结合学的空闲链表法、位示图法、成组链接法等管理策略，找到空闲空间）
• 根据文件存放路径的信息找到该目录对应的目录文件（此处就是D：/Demo目录），在目录中创建该文件对应的目录项。目录项中包含了文件名、文件在外存中的存放位置等信息

6.2 删除文件

进行Delete系统调用时，需要提供的几个主要参数：
1.文件存放路径（“D:/Demo”）
2.文件名（“test.txt”）

操作系统在处理Delete系统调用时，主要做了几件事：

• 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项
• 根据该目录项记录的文件在外存的存放位置、文件大小等信息，回收文件占用的磁盘块。（回收磁盘块时，根据空闲表法、空闲链表法、位图法等管理策略的不同，需要做不同的处理）
• 从目录表中删除文件对应的目录项

6.3 打开文件

在很多操作系统中，在对文件进行操作之前，要求用户先使用open系统调用“打开文件”，需要提供的几个主要参数：
1.文件存放路径（“D:/Demo”）
2.文件名（“test.txt”）
3.要对文件的操作类型（如：r只读：rw读写等）

操作系统在处理open系统调用时，主要做了几件事：

• 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项，并检查该用户是否有指定的操作权限
• 将目录项复制到内存中的“打开文件表”中。并将对应表目的编号返回给用户。之后用户使用打开文件表的编号来指明要操作的文件
  
  

6.4 关闭文件

进程使用完文件后，要“关闭文件”
操作系统在处理Close系统调用时，主要做了几件事：

• 将进程的打开文件表相应表项删除
• 回收分配给该文件的内存空间等资源
• 系统打开文件表的打开计数器count减一，若count=0，则删除对应表项

6.5 读文件

进程使用read系统调用完成写操作。需要指明是哪个文件（在支持“打开文件”操作的系统中，只需要提供文件在打开文件表中的索引号即可），还需要指明要读入多少数据（如：读入1KB）、指明读入的数据要放在内存中的什么位置
操作系统在处理read系统调用时，会从读指针指向的外存中，将用户指定大小的数据读入用户指定的内存区域中

6.6 写文件

进程使用write系统调用完成写操作，需要指明是哪个文件（在支持“打开文件”操作的系统中），还需要指明要写出多少数据（如：写出1KB）、写回外存的数据放在内存中的什么位置
操作系统在处理write系统调用时，会从用户指定的内存区域中，将指定大小的数据写回写指针指向的外存

7 文件共享

7.1 基于索引结点的共享方式（硬链接）

索引结点是一种目录瘦身策略。由于检索文件时只需要用到文件名，因此可以将除了文件名之外的其他信息放到索引结点中。这样目录项就只需要包含文件名、索引结点指针

索引结点中设置一个链接技术变量count，用于表示链接到本索引结点上的用户目录项数
若count=2，说明此时有两个用户目录项链接到该索引结点上，或者说是有两个用户在共享此文件
若某个用户决定“删除”该文件，则只是要把用户目录中与该文件对应的目录项删除，且索引结点的count值减1
若count>0，说明还有别的用户要使用该文件，暂时不能把文件数据删除，否则会导致指针悬空
当count=0时，系统负责删除文件

7.2 基于符号链的共享方式（软链接）

当User3访问“ccc”时，操作系统判断文件“ccc”属于Link类型文件，于是会根据其中记录的路径层层查找目录，最终找到User1的目录表中的“aaa”表项，于是就找到了文件1的索引结点

8 文件保护

8.1 口令保护

为文件设置一个“口令”（如：abc112233），用户请求访问该文件时必须提供“口令”
（口令一般存放在文件对应的FCB或索引结点中。用户访问文件前需要先输入“口令”，操作系统会为用户提供的口令与FCB存储的口令进行对比，如果正确，则允许该用户访问文件）

优点：保存口令的空间开销不多，验证口令的时间开销也很小
缺点：正确的“口令”存放在系统内部，不够安全

8.2 加密保护

使用某个“密码”对文件进行加密，在访问文件时需要提供正确的“密码”才能对文件进行正确的解密

Eg：一个最简单的加密算法——异或加密
假设用于加密/解密的“密码”为“01001”

优点：保密性强，不需要在系统中存储“密码”
缺点：编码/译码，或者说加密/解密要花费一定时间

8.3 访问控制

在每个文件的FCB（或索引结点）中增加一个访问控制表（ACL），该表中记录了各个用户可以对该文件执行哪些操作

精简的访问控制表：以“组”为单位，标记各“组”用户可以对文件执行哪些操作
如：分为系统管理员、文件主、文件主的伙伴、其他用户几个分组
当某用户想要访问文件时系统会检查该用户所属的分组是否有相应的访问权限（系统需要管理分组信息）

8.3.1 Windows访问控制

9 文件系统的层次结构

Eg：假设某用户请求删除文件"D:/工作目录/学生信息.xlsx"的最后100条记录

1.用户需要通过操作系统提供的接口发出上述请求——用户接口
2.由于用户提供的是文件的存放路径，因此需要操作系统一层一层得查找目录，找到对应的目录项——文件目录系统
3.不同的用户对文件有不同的操作权限，因此为了保证安全，需要检查用户是否有访问权限——存取控制模块（存取控制验证层）
4.验证了用户的访问权限之后，需要把用户提供的“记录号”转变为对应的逻辑地址——逻辑文件系统与文件信息缓冲区
5.知道了目标记录对应的逻辑地址后，还需要转换成实际的物理地址——物理文件系统
6.要删除这条记录，必定要对磁盘设备发出请求——设备管理程序模块
7.删除这些记录后，会有一些盘块空闲，因此要将这些空闲盘块回收——辅助分配模块