操作系统的文件系统基础

mrathena

已于 2024-08-16 14:48:29 修改

阅读量934

点赞数 10

分类专栏：操作系统文章标签：操作系统文件系统文件碎片

于 2024-08-16 09:30:32 首次发布

本文链接：https://blog.csdn.net/mrathena/article/details/141241875

版权

操作系统专栏收录该内容

1 篇文章 0 订阅

订阅专栏

扇区和块（或簇）

扇区（Sector）和块（Block）或簇（Cluster）是文件系统和存储设备中两个重要的概念，它们在数据存储和管理方面发挥着关键作用。

固态硬盘（SSD）和机械硬盘（HDD）都使用簇和扇区的概念来管理数据存储，但它们的实现方式和影响有一些不同，SSD 由于其无移动部件的特性，数据访问速度更快，并且对外碎片的影响较小。SSD 的管理方式更依赖于其固件和控制器，而 HDD 则受到物理结构的限制。

扇区

定义

扇区是硬盘或其他存储设备上最小的物理存储单元。一个扇区的大小通常为 512 字节或 4 KB，具体取决于硬盘的格式和设计。

特点

物理存储单元: 扇区是实际存储在硬盘介质上的数据块。
固定大小: 扇区的大小在硬件制造时确定，一般不可以改变。
读写操作: 数据的读写操作是以扇区为单位进行的，操作系统和文件系统通过扇区地址进行寻址。

结构

每个扇区通常包含：
- 数据区域: 存储实际的数据内容。
- 头部信息: 包含扇区的标识信息（如校验和、扇区编号等）。

示例

如果一个文件占用 3 个扇区（假设每个扇区为 512 字节），那么该文件的总大小为 3×512=1536 字节。

块（或簇）

定义

簇是文件系统中用于管理磁盘空间的最小分配单元。一个簇由一个或多个相邻的扇区组成，通常是 2 的幂（例如，2 扇区 = 1 KB，4 扇区 = 2 KB，8 扇区 = 4 KB，等）。

特点

逻辑存储单元: 簇是在文件系统层面上进行管理的存储单元，操作系统使用簇来跟踪文件的存储位置。
可变大小: 簇的大小可以在格式化文件系统时设置，默认的簇大小是 4 KB，常见的簇大小有 8 KB、16 KB 等。
空间分配: 文件在存储时以簇为单位分配存储空间，即使文件小于一个簇，也会占用整个簇。

结构

簇由一个或多个扇区组成，因此簇内的数据实际上是存储在多个扇区中的。

示例

如果一个文件大小为 3 KB，而簇大小为 4 KB，则该文件会占用 1 个簇。虽然实际使用的空间是 3 KB，但由于簇的最小分配单位为 4 KB，剩余的 1 KB 就成为了 内碎片。

扇区与簇的关系

层次结构: 扇区是物理层面的单位，而簇是逻辑层面的单位。文件系统将多个扇区组合成一个簇，以简化存储管理。
存储管理: 操作系统通过簇来管理文件的存储和访问，同时也利用扇区进行物理数据的读写。

文件系统的共性原理

不同操作系统的文件系统在设计和实现上有所不同，但它们共享一些基本的共性原理。这些共性原理构成了文件系统的基础，无论是在 Windows、Linux、macOS 还是其他操作系统上，文件系统的核心功能都是类似的。

常见的文件系统

NTFS（New Technology File System）

平台: 主要用于 Windows。
特点: 支持大文件和权限控制，提供日志记录和加密功能。

ext4（Fourth Extended Filesystem）

平台: 主要用于 Linux。
特点: 稳定、支持大文件，具有较好的性能和碎片管理。

APFS（Apple File System）

平台: 主要用于 macOS。
特点: 为 SSD 优化，支持加密、快照和高性能。

exFAT

平台: 跨平台，主要用于 U 盘和存储卡。
特点: 支持大文件和大卷，兼容性好。

Btrfs（B-tree File System）

平台: Linux。
特点: 现代化，支持快照、压缩和多设备管理，适合高可靠性需求。

文件与目录结构

文件

文件是文件系统中最基本的存储单元，用于存储数据。每个文件都有一个唯一的文件名和路径，并且与元数据相关联，如大小、创建时间、修改时间、权限等。
文件路径: 文件通过路径来定位，路径可以是绝对路径（从根目录开始）或相对路径（相对于当前目录）。

目录（或文件夹）是文件系统中的一种特殊类型的文件，用于组织和管理文件。目录可以包含文件和其他目录，形成一个层次结构。
层次结构: 文件系统通常采用树状结构，根目录位于树的顶端，所有文件和子目录都从根目录派生。

存储分配与管理

块（Block）或簇（Cluster）

块（或簇）是文件系统中用于分配和管理磁盘空间的最小单位。文件系统将文件分割成多个块来存储，块的大小在文件系统格式化时确定。
分配策略: 文件系统采用不同的策略来分配块，如连续分配、链接分配和索引分配，以提高存储效率和访问速度。

元数据

元数据是描述文件属性的信息，包括文件名、大小、创建和修改时间、权限、所有者等。文件系统通过元数据来管理和跟踪文件。
元数据存储: 不同的文件系统采用不同的方式存储元数据，例如 FAT 文件系统使用文件分配表，NTFS 使用 MFT（主文件表），而 ext 系列文件系统使用 inode。

文件访问与权限管理

文件访问

文件访问是通过系统调用（如 open、read、write 等）实现的。文件系统负责将这些操作映射到具体的磁盘读写操作上，并管理文件的打开、关闭和缓存等操作。
缓存机制: 文件系统通常会使用缓存来提高文件访问性能，将最近访问的文件数据保存在内存中，以减少磁盘 I/O 操作。

权限管理

文件权限决定了用户或进程对文件的操作权限，如读取、写入和执行。大多数文件系统支持基于用户和组的权限管理。
权限模型: 不同操作系统使用不同的权限模型，如 Unix 系统的读/写/执行权限，Windows 的 ACL（访问控制列表）。

碎片管理

内碎片和外碎片

内碎片: 当文件系统分配的块大小大于文件实际需要的空间时，未使用的部分就会形成内碎片。
外碎片: 由于频繁的文件创建、删除和修改操作，磁盘空间会变得不连续，导致外碎片，影响文件系统的性能。

碎片整理

碎片整理是一种维护操作，用于重新排列文件数据，使其在磁盘上连续存储，从而提高访问性能。不同操作系统提供不同的工具和机制来管理碎片。

文件系统的容错与恢复

日志与事务

日志文件系统: 为了提高可靠性，许多文件系统采用日志机制，记录文件操作的事务，以便在系统崩溃后恢复。
事务处理: 通过事务处理，文件系统可以确保文件操作的原子性，即操作要么完全完成，要么不对文件系统产生影响。

数据冗余与校验

冗余: 一些文件系统支持冗余，如 RAID（独立磁盘冗余阵列），通过复制或校验码的方式提高数据的可靠性。
校验: 文件系统可能会对数据块进行校验，确保数据完整性，并在发现错误时尝试自动修复。

兼容性与可移植性

跨平台文件系统

一些文件系统设计时考虑了跨平台兼容性，如 FAT32、exFAT 可以在多种操作系统上使用。
文件系统通常支持不同的字符编码和文件命名规则，以适应不同的操作系统需求。

可扩展性

文件系统的设计考虑了未来的扩展需求，如支持大文件、大磁盘分区，以及改进的权限管理和安全特性。

文件在硬盘上不一定是连续的

要清晰地理解文件在存储时不是连续的，我们可以从文件系统如何在磁盘上分配和管理存储空间的角度来进行解释。

文件不连续存储的实际例子

创建一个文件时空间不足

初始存储: 例如，当你创建一个 50MB 的文件时，文件系统在磁盘上找到了一个连续的 50MB 空间，将文件数据存储在这里。
追加数据: 后来，你向这个文件追加了 20MB 的数据，但原来的 50MB 空间后面已经被其他文件占据。此时，文件系统只能将这新增的 20MB 数据存储在磁盘的其他空闲空间中，这些空间可能位于磁盘的不同位置。

删除文件后重新使用空间

文件删除: 你删除了几个不同文件，这些文件占据了磁盘的多个不连续的空间。
新文件存储: 当你创建一个新文件时，文件系统将这个文件的数据分散存储在之前被删除文件所释放的不连续的空闲空间中。

什么是文件的连续存储？

连续存储: 文件的所有数据块在磁盘上是连续排列的，没有被其他文件的数据块分隔开。这意味着文件的第一个数据块紧跟着第二个数据块，第二个紧跟第三个，依此类推，直到文件的最后一个数据块。
读取效率高: 如果文件是连续存储的，磁盘读取文件数据的效率最高，因为磁盘的读取头（在机械硬盘中）或读取控制器（在 SSD 中）可以快速顺序地访问所有数据块，无需跳转到其他位置。

为什么文件可能不连续存储？

磁盘碎片化: 当文件被创建、修改或删除时，磁盘上的空闲空间可能变得不连续。这意味着新文件或扩展的文件可能无法找到足够大的连续空闲空间来存放所有数据块，因此只能将文件分割成若干片段，存放在不同的空闲区域中。
文件增长: 文件随着时间增长，可能无法在原来的位置扩展，因为后续空间已经被其他文件占用了，导致新增的数据块必须存放到其他空闲区域。
删除与重用: 当文件被删除时，其占用的空间会被释放并标记为空闲，但这些空闲块可能分布在磁盘的各个位置。因此，当新文件需要存储时，文件系统可能将其数据分散存储在多个不连续的空闲块中。

不连续存储的影响

读取性能: 对于机械硬盘来说，文件的不连续存储会导致读取数据时磁头频繁跳动，严重影响性能。而在 SSD 中，虽然没有物理磁头的移动问题，但不连续存储仍然会影响内部的读取优化策略。
碎片整理: 操作系统通常会提供碎片整理工具，通过将不连续存储的文件重新排列为连续存储，从而提高文件的读取速度。

如何直观理解文件的不连续存储？

想象书页: 你可以将文件数据块想象成书的页码。如果书页按顺序排放（例如从第1页到第50页），这相当于文件的连续存储。而如果书的某些页被撕掉，你要把这些页码分开保存到不同的地方，再加上新的页码（如在第1页后紧跟的是第10页，再跟第2页），这就是不连续存储。
地图上的岛屿: 文件连续存储可以类比成一座连续的大陆，而不连续存储就像是多个分散在大海中的岛屿，虽然它们属于同一个国家（同一个文件），但它们并不相邻，需要航行（读取跳转）才能到达另一个岛屿。

总结

文件不连续存储是磁盘空间管理的一种现实情况，主要由于磁盘碎片化、文件大小的变化以及删除与重用空间的机制造成的。理解文件不连续存储对于掌握文件系统的效率优化、解决性能问题，以及理解文件读写操作中的潜在挑战都非常重要。

文件读写过程理解

文件读写过程中，特别是针对文件在磁盘上的不连续存储，涉及块空间的申请与释放、元数据文件表的维护和更新。

创建一个文件

元数据表初始化

目录项创建: 当用户请求创建一个新文件时，文件系统首先在目标目录中创建一个新的目录项（Directory Entry）。这个目录项记录了文件名以及一个指向该文件元数据的指针（如 inode 在 Unix/Linux 文件系统中，MFT 在 NTFS 文件系统中）。
inode 或 MFT 条目分配: 文件系统为新文件分配一个 inode 或 MFT 条目，用于记录该文件的元数据。初始元数据通常包括文件大小（初始为 0）、所有者信息、权限、创建时间、以及一个空的指向数据块的指针列表。

磁盘块空间申请

初始数据块分配: 如果文件创建时伴随有初始内容，文件系统需要向块管理器请求一个或多个磁盘块。假设块大小为 4 KB，即使文件只有少量数据，一个块（或簇）也会被完全分配。
元数据更新: 文件系统会在元数据中更新指向这些数据块的指针列表。如果文件数据跨越多个块，则会依次记录每个块的物理地址。

不连续存储的处理

非连续块分配: 如果文件系统的空闲块列表中没有连续的空闲块可供分配，文件系统会将文件分割到非连续的块中。这在大文件或磁盘空间高度碎片化时较为常见。
间接指针使用: 如果文件非常大，直接指针可能无法完全覆盖所有数据块，这时会使用一级、二级甚至三级间接指针来引用更多的块。每一级间接指针可以指向一组新的数据块指针。

文件末尾部分增加内容

元数据更新

文件大小更新: 追加内容会导致文件大小增加。文件系统首先在元数据中更新文件大小，并记录新的修改时间。
块空间检查与分配: 文件系统检查当前的最后一个块是否有剩余空间容纳新数据。如果空间足够，则直接写入数据；否则，文件系统需要分配新的块。

磁盘块分配

新块申请: 如果当前块已满，文件系统将从空闲块列表中申请新的块。对于非连续存储的文件，新申请的块可能不会与之前的块连续。
元数据中的指针更新: 文件系统在元数据中新增指向这些新分配块的指针。对于大文件，如果使用了间接指针，则需要更新间接指针列表。

文件末尾部分删除内容

元数据更新

文件大小减少: 删除文件末尾的内容会导致文件大小减少，文件系统需要更新元数据中的文件大小字段，并记录修改时间。
块空间释放: 如果删除的内容使最后一个块变得空闲，文件系统会将该块释放并返回到空闲块列表。

磁盘块释放

空闲块回收: 被释放的块被标记为空闲块，供文件系统将来使用。如果文件不连续，释放的块可能位于磁盘的不同位置，这些块将分别被添加到空闲块列表中。

文件中间部分增加内容

元数据更新

元数据更新: 插入内容会导致文件大小增加，元数据中文件大小字段随之更新。如果插入位置需要分配新的块或重新排列数据，元数据中的指针列表可能需要调整。

磁盘块分配与调整

新块申请与数据移动: 如果插入内容导致当前块无法容纳，需要申请新的块以存放部分或全部插入的数据。文件系统可能还需要将原有块中的部分数据移动到新块中。
不连续块处理: 对于不连续存储的文件，插入内容时可能需要在不同位置申请新的块，这会增加文件系统管理和读取的复杂性。

数据块调整

间接指针调整: 如果新增的数据块超过了直接指针的范围，文件系统会调整或新增间接指针，使其指向新的数据块。这样可以确保所有数据块都被正确引用。

文件中间部分删除内容

元数据更新

元数据更新: 删除文件中间部分内容会导致文件大小减少，文件系统需要更新元数据中的文件大小字段。如果涉及块释放，还需更新指针列表。

磁盘块释放与重排

块空间释放: 如果删除的内容使一个或多个数据块变得完全无用，文件系统会将这些块释放，并从元数据中移除对应的指针。
数据块合并: 文件系统可能会尝试将剩余数据重新组合在更少的块中，以减少碎片化。这种重排操作可能涉及较多的块移动和指针更新。

删除文件

元数据删除

目录项删除: 当文件被删除时，文件系统首先从目录中移除该文件的目录项，这使得文件在文件系统中变得不可见。
inode 或 MFT 记录失效: 文件的 inode 或 MFT 条目被标记为无效，意味着该文件不再有效存在。

磁盘块释放

数据块释放: 文件系统将与该文件关联的所有数据块释放回空闲块列表。如果文件不连续，这些块可能分布在磁盘的不同位置，文件系统会分别释放这些块。
空闲块管理: 文件系统更新空闲块列表或 bitmap，以便这些块能够被新文件使用。

文件不连续存储的详细说明

不连续存储的原因

碎片化: 随着文件的创建、删除和扩展，磁盘空间会变得碎片化。这意味着文件的块可能被分散存储在磁盘的不同位置，而不是连续地存放在一起。
空闲块管理: 当一个文件需要更多的块时，文件系统会搜索空闲块列表。如果没有足够的连续块，文件系统会分配不连续的块。

影响与优化

读取性能影响: 不连续存储会导致文件读取性能下降，尤其是在传统机械硬盘（HDD）上，因为磁头需要在不同的物理位置之间移动。固态硬盘（SSD）由于无机械部件，这种影响较小，但仍可能因为内部管理的原因导致性能波动。
碎片整理: 文件系统定期或用户手动触发的碎片整理操作（如 Windows 的磁盘碎片整理工具）会尝试将文件的块重新排列为连续存储，以提高访问效率。
使用间接指针: 为了管理不连续存储的块，文件系统使用间接指针，使得可以在逻辑上将这些不连续块看作一个连续的文件。这样，应用程序在读取文件时不会感知到底层块的不连续性。

总结

文件的读写过程，特别是涉及到不连续存储时，包含了从块空间申请与释放到元数据的复杂更新。无论是创建文件、修改文件内容还是删除文件，文件系统都需要高效地管理磁盘块和元数据，以确保文件数据的完整性和读取性能。不连续存储虽然是一个挑战，但现代文件系统通过使用间接指针、空闲块管理、碎片整理等技术有效地应对了这个问题。理解这些过程对于系统优化、文件系统设计以及性能调优都具有重要意义。