磁盘管理和文件系统知识（二）之文件系统介绍

常见的文件系统及介绍：

Ext3：是一款日志文件系统，比ext2多了一个日志功能。能够在系统异常宕机时避免文件系统资料丢失，并能自动修复数据的不一致与错误。然而，当硬盘容量较大时，所需的修复时间也会很长，而且也不能百分之百地保证资料不会丢失。它会把整个磁盘的每个写入动作的细节都预先记录下来，以便在发生异常宕机后能回溯追踪到被中断的部分，然后尝试进行修复。
Ext4：Ext3的改进版本，作为RHEL 6系统中的默认文件管理系统，它支持的存储容量高达1EB（1EB=1,073,741,824GB），且能够有无限多的子目录。另外，Ext4文件系统能够批量分配block块，从而极大地提高了读写效率。
XFS：是一种高性能的日志文件系统，而且是RHEL 7中默认的文件管理系统，它的优势在发生意外宕机后尤其明显，即可以快速地恢复可能被破坏的文件，而且强大的日志功能只用花费极低的计算和存储性能。并且它最大可支持的存储容量为18EB，这几乎满足了所有需求。
JFS:是一种提供日志的字节级文件系统。该文件系统 主要是为了满足服务器的高吞吐量和可靠性需求而设计开发的。与非日志文件系统相比，它的突出优点是快速重启能力，使用数据库日志处理技术，JFS能在几秒或几分钟内把文件系统恢复到一致状态。而在非日志文件系统中，文件恢复可能划分几小时甚至几天。JFS的缺点是系统性能上会有一定损失，系统资源占有率偏高。
ReiserFS:使用特殊的、优化的平衡树来组织所有的文件系统数据，根据需要动态第分配索引节，而不必在文件系创建时建立固定的索引节。缺点是每升级一个版本都要将磁盘程序格式化一次，而且它的安全性和稳定性与ext3相比有一定的差距。还不能正确处理超长的文件目录。
文件系统的实际使用：
计算机系统在发展过程中产生了众多的文件系统，为了使用户在读取或写入文件时不用关心底层的硬盘结构，Linux内核中的软件层为用户程序提供了一个VFS（Virtual File System，虚拟文件系统）接口，这样用户实际上在操作文件时就是统一对这个虚拟文件系统进行操作了。图6-5所示为VFS的架构示意图。从中可见，实际文件系统在VFS下隐藏了自己的特性和细节，这样用户在日常使用时会觉得“文件系统都是一样的”，也就可以随意使用各种命令在任何文件系统中进行各种操作了（比如使用cp命令来复制文件）。

文件系统与inode表、Data block、superblock的联系：

磁盘分区完毕后，还需要进行格式化（format），之后操作系统才能使用这个文件系统。
格式化的原因：这是因为每种操作系统所设定的文件属性/权限并不相同，为了存放这些文件所需的数据，因此就需要将分区进行格式化，以成为操作系统能够利用的【文件系统格式(filesystem)】。每种操作系统能够使用的文件权限并不相同。
过去常说一个文件系统(filesystem)就是一个分区(partition)，因为在传统的磁盘和文件系统使用中，一个分区只能格式化为一个文件系统。但如今，由于LVM和RAID等技术的使用，格式化时已经不再说是针对分区进行格式化了，通常称呼为一个可被挂载的数据为一个文件系统，而不是分区。

文件系统的最小存储单元是块（block），一个块的大小是在格式化时就确定的。启动块(Boot Block)的大小为1KB，由PC标准规定，用来存储磁盘分区信息和启动信息，任何文件系统都不能修改启动块。启动块之后才是ext2文件系统的开始，ext2文件系统将整个分区划分成若干个同样大小的块组(Block Group)。
在整体规划中，文件系统的最前面有一个启动扇区(boot sector)，这个启动扇区可以安装开机管理程序，这样就可以将不同的开机管理程序安装到个别的文件系统最前端，而不用覆盖整颗磁盘唯一的MBR，同时也可以制作多重引导环境来使用。
Linux只是把每个文件的权限与属性记录在inode中，而且每个文件占用一个独立的inode表格，该表格的大小默认为128字节。实际的数据部分则存放在Data block中，inode通过指针来找到数据。
如上图所示：block group的组成有六部分
Super block：超级块
Group description table：块组描述符表
Block bitmap：块位图
Inode bitmap：Inode位图
Inode Table：inode表
Data blocks：数据块
详细解释：
Super block：记录整个分区的文件系统总体信息。记录的信息有：
1、block 与 inode 的总量（分区内所有Block Group的block和inode总量）；
2、未使用与已使用的 inode / block 数量；
3、block 与 inode 的大小 (block 为 1, 2, 4K，inode 为 128 bytes)；
4、filesystem 的挂载时间、最近一次写入数据的时间、最近一次检验磁盘 (fsck) 的时间等文件系统的相关信息；
5、一个 valid bit 数值，若此文件系统已被挂载，则 valid bit 为 0 ，若未被挂载，则 valid bit 为 1 。每个区段与 superblock 的信息都可以使用 dumpe2fs 这个命令查询。
Group description table：存储一个块组的描述信息，如在这个块组中从哪里开始是inode Table，从哪里开始是Data Blocks，空闲的inode和数据块还有多少个等等。块组描述符在每个块组的开头都有一份拷贝。
Block bitmap：记录整个块组中哪些块已被使用，哪些块处于空闲状态。块位图本身占用一个块大小，每bit(位)代表本块组的一个block，其中bit=1表示被使用，bit=0表示空闲。
Inode bitmap：和块位图类似，本身占一个块，其中每个bit表示一个inode是否空闲可用。 也就是用来记录block group中Inode区域的使用情况。
Inode Table：由一个块组中的所有inode组成。一个文件除了实际的数据外，也有一些其他的信息需要存储(如文件类型，属性，权限，大小，创建、修改、访问时间等)，而这些信息则存储在inode中。inode表占多少个块在格式化时就要写入块组描述符中。 在Ext2/Ext3文件系统中，每个文件在磁盘上的位置都由文件系统block group中的一个Inode指针进行索引，Inode将会把具体的位置指向一些真正记录文件数据的block块，需要注意的是这些block可能和Inode同属于一个block group也可能分属于不同的block group。我们把文件系统上这些真实记录文件数据的block称为Data blocks。
Data block：用来存放文件内容的地方。而根据不同的文件类型分为以下几种情况：
对于普通文件，文件的数据存储在数据块中。
对于目录，该目录下的所有文件名和目录名存储在所在目录的数据块中。除了文件名外，ls -l命令看到的其它信息保存在该文件的inode中。
对于链接文件，如果目标路径名较短则直接保存在inode中，如果较长则分配一个数据块来保存。
设备文件、FIFO和socket等特殊文件没有数据块。
data block 是用来放置文件内容数据地方，在 ext2 文件系统中所支持的 block 大小有 1K, 2K 及 4K 三种而已。文件系统一开始就将inode与data block规划好了，除非重新格式化（或者利用resize2fs等命令更改文件系统大小），否则inode与data block固定后就不再变动。 不过要注意的是，由于 block 大小的差异，会导致该文件系统能够支持的最大磁盘容量与最大单一文件容量并不相同。
**

Inode表和inode

**

其中一个inode大小为128byte，文件属性记录占用68字节，而数据块指针为60字节，一个指针大小为4字节，因此最多有15个指针，怎样依靠这15个指针来记录来记录如此多的数据呢?
由此引发出下面的知识：
将数据块指针划分为12个直接块指针，1个间接块指针，1个双重间接块指针，1个三重间接块指针。
如图为ext2文件系统的inode结构：

数据块大小一般都是4k=4096个字节
指针块(也就是数据块)大小为4KB，一个指针大小为4字节
直接块指针：指向对应数据块，一个指针指向一个数据块，最多存储12*4k=48k的数据。
间接块指针(一级指针)：当数据大于48kb时，使用间接块指针，间接块指针不再直接指向数据块，而是先指向指针块，通过指针块中的各指针再指向数据块。最多储存(4096/4)*4KB=4MB数据。
双重间接块指针(二级指针)：当直接指针指向一个指针块后，再指向一个指针块，然后再指向数据块。即最多存储(4096/4)x(4096/4)x4KB=4GB。
三重间接块指针(三级指针)：与二级指针类似，只是再多指向一个指针块后，然后再指向数据块。即最多存储(4096/4)x(4096/4)x(4096/4)x4KB=4TB
ext2文件系统的block限制：
原则上，block 的大小与数量在格式化完就不能够再改变了(除非重新格式化)；
每个 block 内最多只能够放置一个文件的数据；
承上，如果文件大于 block 的大小，则一个文件会占用多个 block 数量；
承上，若文件小于 block ，则该 block 的剩余容量就不能够 再被使用了(磁盘空间会浪费)。
上述为理论上的存储，实际上的存储可能因为文件系统本身的限制有所变化。

Inode介绍：

文件存储在硬盘上，硬盘的最小存储单位叫做 “扇区(Sector)”。每个扇区储存 512 字节（相当于 0.5KB）。
操作系统读取硬盘的时候，不会一个个扇区的读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。“块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。
文件数据都储存在"块"中，因此还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点”。
每一个文件都有对应的inode，里面包含了与该文件有关的一些信息。
inode内容：
inode包含文件的元信息，具体来说有以下内容：

• 文件的字节数
• 文件拥有者的User ID
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳，共有三个：ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上一次打开的时间。
• 链接数，即有多少文件名指向这个inode
• 文件数据block的位置
  
  也就是说：除了文件名以外的所有文件信息，都存在inode之中。而文件名则存储在目录的数据块中。
  Inode大小：
  inode也会消耗硬盘空间，所以硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是inode区（inode table），存放inode所包含的信息。
  每个inode节点的大小，一般是128字节或256字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode table的大小就会达到128MB，占整块硬盘的12.8%。
  
  查看每个inode节点的大小可如下命令：
  
  注意：
  dumpe2fs仅支持ext2/3/4文件系统。
  xfs_info支持xfs文件系统。
  
  Inode号码：
  每个inode都有一个号码，操作系统用inode号码来识别不同的文件。
  也就是说：Unix/linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称或者绰号。
  表面上，用户通过文件名，打开文件。实际上，系统内部这个过程分成三步：
  系统找到这个文件名对应的inode号码；
  通过inode号码，获取inode信息；
  根据inode信息，找到文件数据所在的block，读出数据
  使用ls -i命令，可以看到文件名对应的inode号码：
  
  inode 的特殊作用
  由于inode号码与文件名分离，这种机制导致了一些Unix/Linux系统特有的现象。
  （1）有时，文件名包含特殊字符，无法正常删除。这时，直接删除inode节点，就能起到删除文件的作用。
  （2）移动文件或重命名文件，只是改变文件名，不影响inode号码。
  （3）打开一个文件以后，系统就以inode号码来识别这个文件，不再考虑文件名。因此，通常来说，系统无法从inode号码得知文件名。
  第3点使得软件更新变得简单，可以在不关闭软件的情况下进行更新，不需要重启。因为系统通过inode号码，识别运行中的文件，不通过文件名。更新的时候，新版文件以同样的文件名，生成一个新的inode，不会影响到运行中的文件。等到下一次运行这个软件的时候，文件名就自动指向新版文件，旧版文件的inode则被回收。

ls命令下显示的目录文件信息

Unix/Linux系统中，目录（directory）也是一种文件。打开目录，实际上就是打开目录文件。
目录文件的结构非常简单，就是一系列目录项（dirent）的列表。每个目录项，由两部分组成：所包含文件的文件名，以及该文件名对应的inode号码。
第一列：inode号
第二列：文件类型及属性
第三列：硬链接数

• 对于文件：当文件有硬链接时，硬链接数为：1+“硬链接数”；当文件有软链接时，硬链接数不增加。
• 对于目录：简单说，其硬链接数为目录本身+1+一级子目录的个数
  

第四列：所有者
第五列：所属组
第六列：文件大小
第七列：文件最后一次修改时间
第八列：文件名
由上述列表信息引发出下面为问题：
由于目录文件内只有文件名和inode号码，所以如果只有读权限，只能获取文件名，无法获取其他信息，因为其他信息都储存在inode节点中，而读取inode节点内的信息需要目录文件的执行权限（x）。

硬链接和软链接

#ln 源文件 目标文件 ///创建硬链接
#ln 源文件 目标文件(最好使用源文件的相对路径来表示目标文件) ///创建软链接
硬链接：
一般情况下，文件名和inode号码是"一一对应"关系，每个inode号码对应一个文件名。但是，Unix/Linux系统允许，多个文件名指向同一个inode号码。
这意味着，可以用不同的文件名访问同样的内容；对文件内容进行修改，会影响到所有文件名；但是，删除一个文件名，不影响另一个文件名的访问。这种情况就被称为"硬链接"（hard link）。

如图，源文件与目标文件的inode号码相同，都指向同一个inode。inode信息中有一项叫做"链接数"，记录指向该inode的文件名总数，这时就会增加1。
反过来，删除一个文件名，就会使得inode节点中的"链接数"减1。当这个值减到0，表明没有文件名指向这个inode，系统就会回收这个inode号码，以及其所对应block区域。
软链接：
除了硬链接以外，还有一种特殊情况。
文件A 和 文件B 的 inode 号码虽然不一样，但是文件A 的内容是文件B 的路径。读取文件A时，系统会自动将访问者导向文件B。因此，无论打开哪一个文件，最终读取的都是文件B。这时，文件A就称为文件B的"软链接"（soft link）或者"符号链接（symbolic link）。
这意味着，文件A依赖于文件B而存在，如果删除了文件B，打开文件A就会报错：“No such file or directory”。这是软链接与硬链接最大的不同：文件A指向文件B的文件名，而不是文件B的inode号码，文件B的inode"链接数"不会因此发生变化。

补充：

一个 inode 对应一个文件，而一个文件根据其大小，会占用多块 blocks；
更为准确的来说，一个文件只对应一个Inode。因为硬链接其实不是创建新文件，只是在Directory中写入了新的对应关系而已；
当删除文件时，只是把 inode 标记为可用，文件在block 中的内容是没有被清除的，只有在有新的文件需要占用block的时候，才会被覆盖。