关于jbd2的小延伸及-文件系统

关于jbd2的小延伸

jbd2全称是journalingblock driver，是ext4文件系统的一部分。实现的是文件系统的日志功能，磁盘使用日志功能来保证数据的完整性。

不过有很多系统级的bug导致jbd2很高的。

可以在如下连接中查找操作系统的BUG：

https://bugzilla.kernel.org/

关于文件系统barrier

Linux文件系统包括EXT4，将文件系统barrier作为一个增强的安全特性。

常用的文件系统使用日志功能来保证文件系统的完整性。在写入新的数据块到磁盘之前，先将元数据写入日志。保证在写入真实数据前后发生错误，日志功能能很容易地回滚到更改之前的状态。这个方法确保了不会发生文件系统崩溃的情况。

做了文件写操作后，例如调用fsycn就能保证数据可靠地写入磁盘，大多数情况下，确实如此。但是由于缓存的存在，fsync这些同步操作，并不能保证存储设备把数据写入非易失性介质。如果此时存储设备发生掉电或者硬件错误，此时存储缓存中的数据将会丢失。对于像日志文件系统中的日志这样的数据，其后果可能是非常严重的。因为日志文件系统中，数据的写入和日志的写入存在先后顺序。如果顺序发生错乱，则可能破坏文件系统。

 BarrierI/O的目的是使其之前的I/O在其之前写入存储介质，之后的I/O需要等到其写入完成后才能得到执行。

真实的数据块将在barrier被写入之前完全写入磁盘。使用barrier可以确保文件系统的完整性，barrier在EXT4文件系统中是默认启用。

可以通过/proc/mounts文件来监控文件系统barrier的当前状态;对于每一个挂载的文件系统，打开这个文件都能看到所有的挂载选项。如果你看到barrier=1，那么文件系统就正在使用barrier功能。

使用barrier的一个缺点是需要付出降低性能的代价。如果需要顶级的性能，可以用挂载选项-o barrier=0来关闭barrier功能，或者nobarrier。

在系统中断时，数据会留在缓存中，不会写入到文件系统。而一个带有电池备份的控制器可以避免这个问题。当服务器使用的这个控制器出故障了，磁盘控制器仍然能保证变更操作，可以排除barrier使用的需要。

所以可以尝试禁用barrier特性来测试。

关于EXT4文件系统

Linux kernel自2.6.28开始正式支持新的文件系统Ext4。 Ext4是Ext3的改进版，修改了Ext3中部分重要的数据结构，而不仅仅像Ext3对Ext2那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1.                与Ext3兼容,就能从Ext3在线迁移到Ext4，而无须重新格式化磁盘或重新安装系统。原有Ext3数据结构照样保留，Ext4作用于新数据，当然，整个文件系统因此也就获得了Ext4所支持的更大容量。

2.               更大的文件系统和更大的文件。较之Ext3目前所支持的最大16TB文件系统和最大2TB文件，Ext4分别支持1EB（1,048,576TB，1EB=1024PB，1PB=1024TB）的文件系统，以及16TB的文件.

3.               无限数量的子目录。Ext3目前只支持32,000个子目录，而Ext4支持无限数量的子目录。

4.              Extents。Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在Ext3中要建立25,600个数据块（每个数据块大小为 4KB）的映射表。而Ext4引入了现代文件系统中流行的extents概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的25,600个数据块中”，提高了不少效率。

5.               多块分配。当写入数据到 Ext3 文件系统中时，Ext3的数据块分配器每次只能分配一个4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc）支持一次调用分配多个数据块。

6.              延迟分配。Ext3的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7.               快速 fsck。以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8.              日志校验。日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9.               “无日志”（No Journaling）模式。日志总归有一些开销，Ext4允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10.         10.在线碎片整理。尽管延迟分配、多块分配和extents能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4支持在线碎片整理，并将提供e4defrag工具进行个别文件或整个文件系统的碎片整理。

11.            inode 相关特性。Ext4 支持更大的inode，较之Ext3默认的inode大小128字节，Ext4为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或inode版本），默认inode大小为256字节。Ext4 还支持快速扩展属性（fastextended attributes）和inode保留（inodes reservation）。

12.           持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4在文件系统层面实现了持久预分配并提供相应的API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13.           默认启用 barrier。磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写commit记录，若commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4默认启用barrier，只有当barrier之前的数据全部写入磁盘，才能写 barrier之后的数据。（可通过“mount -o barrier=0″命令禁用该特性。）