如何实现一个文件系统（一）

摘要

本章目的是分析在Linux系统中如何实现新的文件系统。在介绍文件系统具体实现前先介绍文件系统的概念和作用，抽象出文件系统概念模型。熟悉文件系统的内涵后，我们再进一步讨论Linux系统中文件系统的特殊风格和具体文件系统在Linux中的组成结构，逐步为读者勾画出Linux中文件系统工作的全景图。最后在事例部分，我们将以romfs文件系统作实例,分析实现文件系统的普遍步骤。

什么是文件系统

别混淆“文件系统”

首先要谈的概念就是什么是文件系统，它的作用到底是什么。

文件系统的概念虽然许多人都认为是再清晰不过的了，但其实我们往往在谈论中或多或少地夸大或缩小了它的实际概念（至少我时常混淆），或者说，有时借用了其它概念，有时说得又不够全面。

比如在操作系统中，文件系统 这个术语往往既被用来描述磁盘中的物理布局，比如有时我们说磁盘中的“文件系统”是EXT2或说把磁盘格式化成FAT32格式的“文件系统”等——这时所说的“文件系统”是指磁盘数据的物理布局格式；另外，文件系统也被用来描述内核中的逻辑文件结构，比如有时说的“文件系统”的接口或内核支持Ext2等“文件系统”——这时所说的文件系统都是内存中的数据组织结构而并非磁盘物理布局（后面我们将称呼它为逻辑文件系统）；还有些时候说“文件系统”负责管理用户读写文件——这时所说的“文件系统”往往描述操作系统中的“文件管理系统”，也就是文件子系统。

虽然上面我们列举了混用文件系统的概念的几种情形，但是却也不能说上述说法就是错误的，因为文件系统概念本身就囊括众多概念，几乎可以说在操作系统中自内存管理、系统调度到I/O系统、设备驱动等各个部分都和文件系统联系密切，有些部分和文件系统甚至未必能明确划分——所以不能只知道文件系统是系统中数据的存储结构，一定要全面认识文件系统在操作系统中的角色，才能具备自己开发新文件系统的能力。

文件系统的体系结构

为了澄清文件系统的概念，必须先来看看文件系统在操作系统中处于何种角色，分析文件系统概念的内涵外延。我们先抛开Linux文件系统的实例，而来看看操作系统中文件系统的普遍体系结构，从而增强对文件系统的理论认识。

下面以软件组成的结构图[1][1]的方式来描述文件系统所涉及的内容。

 

                   图1 ： 文件系统体系结构层次图

针对各层简要分析如下：

1.首先我们来分析最低层——设备驱动层，该层负责与外设——磁盘等——通讯。文件系统都需要和存储设备打交道，而系统操作外设时离不开驱动程序。所以内核对文件的最后操作行为就是调用设备驱动程序完成从主存（内存）到辅存（磁盘）的数据传输。

文件系统相关的多数设备都属于块设备，常见的块设备驱动程序有磁盘驱动，光驱驱动等，之所以称它们为块设备，一个原因是它们读写数据都是成块进行的，但是更重要的原因是它们管理的数据能够被随机访问——不需要像字符设备那样必须顺序访问。

2.设备驱动层的上一层是物理I/O层，该层主要作为计算机外部环境和系统的接口，负责系统和磁盘之间数据块的交换。它要知道数据块在磁盘中的存储位置，也要知道文件数据块在内存缓冲中的位置，另外,它不需要了解数据或文件的具体结构。可以看到,这层最主要的工作是识别磁盘扇区和内存缓冲块[2][2]之间的映射关系。

3.再上层是基础I/O监督层，该层主要负责选择文件 I/O需要的设备，调度磁盘请求等工作，另外分配I/O缓冲和磁盘空间也在该层完成。由于块设备需要随机访问数据，而且对速度响应要求较高，所以操作系统不能像对字符设备那样简单、直接地发送读写请求，而必须对读写请求重新优化排序，以能节省磁盘寻址时间，另外也必须对请求提交采取异步调度（尤其写操作）的方式进行。总而言之，内核必须管理块设备请求，而这项工作正是由该层负责的。

4.倒数第二层是逻辑I/O层，该层允许用户和应用程序访问记录。它提供了通用的记录（record）I/O操作，同时还维护基本文件数据。为了方便用户操作和管理文件内容，文件内容往往被组织成记录形式，所以操作系统为操作文件记录提供了一个通用的逻辑操作层。

5.和用户最靠近的是访问方法层，该层提供了一个从用户空间到文件系统的标准接口，不同的访问方法反映了不同的文件结构，也反映了不同的访问数据和处理数据的方法。这一层我们可以简单地理解为文件系统给用户提供的访问接口——不同的文件格式（如顺序存储格式、索引存储格式、索引顺序存储格式和哈希存储格式等）对应不同的文件访问方法。该层要负责将用户对文件结构的操作转化为对记录的操作。

文件处理流程

对比上面的层次图我们再来分析一下数据流的处理过程，加深对文件系统的理解。

假如用户或应用程序操作文件（创建/删除），首先需要通过文件系统给用户空间提供的访问方法层进入文件系统，接着使用逻辑I/O层对记录进行给定操作，然后记录将被转化为文件块，等待和磁盘交互。这里有两点需要考虑——第一，磁盘管理（包括在磁盘空闲区分配文件和组织空闲区）；第二，调度块I/O请求——这些是基础I/O监督层的工作。再下来,文件块被物理I/O层传递给磁盘驱动程序，最后磁盘驱动程序才真正把数据写入具体的扇区。至此文件操作完毕。

当然上面介绍的层次结构是理想情况下的理论抽象，实际文件系统并非一定要按照上面的层次或结构组织，它们往往简化或合并了某些层的功能（比如Linux文件系统因为所有文件都被看作字节流，所以不存在记录，也就没有必要实现逻辑I/O层，进而也不需要和记录相关的处理）。但是大体上都需要经过类似的处理。如果从处理对象上和系统独立性上划分，文件系统体系结构可以被分为两大部分：——文件管理部分和操作系统I/O部分。文件管理系统负责操作内存中的文件对象，并按文件的逻辑格式将对文件对象的操作转化成对文件块的操作；而操作系统I/O部分负责内存中的块与物理磁盘中的数据交换。

数据表现形式在文件操作过程中也经历了几种变化：用户访问文件系统时看到的是字节序列，而在字节序列被写入磁盘时看到的是内存中文件块（在缓冲中），在最后将数据写入磁盘扇区时看到的是磁盘数据块[3][3]。

本文所说的实现文件系统主要针对最开始讲到的第二种情况——内核中的逻辑文件结构（但其它相关的文件管理系统和文件系统磁盘存储格式也必须了解），我们用数据处理流图来分析一下逻辑文件系统的主要功能和在操作系统中所处的地位。

 

                  图2 文件系统操作流程

其中文件系统接口与物理布局管理是逻辑文件系统要负责的主要功能。

l         文件系统接口为用户提供对文件系统的操作，比如open、close、read、write和访问控制等，同时也负责处理文件的逻辑结构。

l         物理存储布局管理，如同虚拟内存地址转化为物理内存地址时，必须处理段页结构一样，逻辑文件结构必须转化到物理磁盘中，所以也要处理物理分区和扇区的实际存储位置，分配磁盘空间和内存中的缓冲也要在这里被处理。

    所以说要实现文件系统就必须提供上面提到的两种功能，缺一不可。

在了解了文件系统的功能后，我们针对Linux操作系统分析具体文件系统如何工作，进而掌握实现一个文件系统所需要的步骤。