ext4的日志部分的分析

已于 2024-07-27 06:59:00 修改
阅读量510 收藏 18
点赞数 4
文章标签： ext4 jdb
于 2024-07-27 06:57:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangzhao0001/article/details/140729169
版权

EXT4 支持多种日志模式，如 journal、ordered（默认模式）和 writeback 等。不同模式在数据和元数据的处理上有所差异。

journal 模式：提供了完全的数据块和元数据块的日志，所有的数据都会先写入到日志里，然后再写入磁盘（掉电非易失存储介质）上。在文件系统崩溃的时候，日志就可以进行重放，把数据和元数据带回到一个一致性的状态，journal 模式性能是三种模式中最低的，因为所有的数据都需要日志来记录。这个模式不支持 allocation以及 o_direct。

ordered 模式：只提供元数据的日志，但它逻辑上将与数据更改相关的元数据信息与数据块分组到一个称为事务的单元中。当需要把元数据写入到磁盘上的时候，与元数据关联的数据块会首先写入，也就是数据先落盘，再做元数据的日志。一般情况下，这种模式的性能会略逊色于 writeback 但是比 journal 模式要快得多。

writeback 模式：当元数据提交到日志后，data 可以直接被提交到磁盘，即会做元数据日志，数据不做日志，并且不保证数据比元数据先落盘，writeback 是 EXT4 提供的性能最好的模式。

在实现过程中，涉及到的主要数据结构包括：

  • buffer_head：内核用于管理磁盘缓冲区的数据结构，一个 buffer_head 对应一个文件系统块（通常为 512 字节大小），用于跟踪从磁盘加载到内存的块数据。一个 transactio
最低0.47元/天 解锁文章
yangzhao0001
关注
  • 4
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Ext4文件系统架构分析（一）
qq_22613757的博客
11-12 985
本文描述Ext4 文件系统磁盘布局和元数据的一些分析，同样适用于ext2,ext3文件系统，除了它们不支持的ext4的特性。整个分析分两篇博文，分别概述布局和详细介绍各个布局的数据结构及组织寻址方式等。 1.Ext4 文件系统布局综述 一个Ext4 文件系统被分成一系列块组。为减少磁盘碎片产生性能瓶颈，块分配器尽量保持每个文件的数据块都在同一个块组中，从而减少寻道时间。以4KB的数据块为例，一...
Ext4文件系统架构分析
qq_22613757的博客
06-29 5892
转自：https://www.cnblogs.com/alantu2018/p/8461272.html本文描述的Ext4文件系统磁盘布局和元数据的一些分析，同样适用于Ext3的和的Ext2文件系统，除了它们不支持的的Ext4的特性外，整个分析分两篇博文，分别概述布局和详细介绍各个布局的数据结构及组织寻址方式等。感兴趣的看官敬请留意和指导！1. Ext4文件系统布局综述一个的Ext4文件系统被分成...
ext4日志系统分析（一）
hty46565的博客
04-22 8346
一、背景ext4文件系统用的是jbd2日志系统。本篇博客从内核源码着手，大致分析jbd2日志系统。二、源码分析我这里用的是source insight工具来分析linux内核的源码。 内核版本为3.10.0。 首先我们搜索一下jbd2关键字。可以看到如下图所示： 可以看到，在fs/jbd2中存在6个文件。这个fs/jbd2中存的就是jbd2日志系统的代码。 一步一步来，先看看插入jbd2
linux 日志文件系统,Linux日志文件系统(EXT4、XFS、JFS)及性能分析
weixin_39770165的博客
04-28 742
Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4可以提供更佳的性能和可靠性，还有更为丰富的功能：1. 与 Ext3兼容。执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有...
linux虚拟文件系统（三）-ext4文件系统注册分析
jianjian的博客
08-03 1609
ext4_init_fs
深入理解Linux文件系统、EXT3/4及XFS恢复、日志分析
IvyXYW的博客
12-04 993
一、inode和block（前面博客常用命令里软硬链接中也有） 文件是存储在硬盘上的，硬盘的最小存储单位叫做"扇区" (sector) ，每个扇区存储512字节。 一般连续八个扇区组成一个"块" (block) ，一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。 文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中，存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode（索引节点）。因此，一个
深入理解ext4
luominghao的专栏
09-15 4264
文件系统是操作系统的一个重要组成部分，也有着举足轻重的地位。本系列文章主要讲述了linux ext4文件系统的一些实现原理。笔者参考了2.6.32.60的内核源代码。在写这篇的文章时，最新的内核已经去到了3.7.9。 ext4是替代ext2/3的Linux文件系统。从2.6.28版本开始，被正式认定进入稳定（stable）。本文主要介绍ext4文件系统在硬盘层面上的存储结构及原理。  
深入理解Linux文件系统与日志分析
gcc001224的博客
04-11 1105
文章目录一、inode与block1.inode和block概述2.inode的内容 一、inode与block 1.inode和block概述 文件数据包括元信息与实际数据 （元信息：包含属性的相关信息，实际数据：文件内容） 文件是存储在硬盘上的，硬盘的最小存储单位叫做"扇区”(sector)，每个扇区存储512字节。 一般连续八个扇区组成一个"块"(block)，一个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。 block(块) 连
Ext4文件系统架构分析(三) ——目录哈希、扩展属性与日志
铁匠的七寸宫
03-30 6949
原文来自 http://blog.chinaunix.net/uid-28989651-id-3981448.html 1.19 哈希树目录 线性目录项不利于系统性能提升。因而从ext3开始加入了快速平衡树哈希目录项名称。如果在inode中设置EXT4_INDEX_FL标志，目录使用哈希的B树（hashed btree ，htree）组织和查找目录项。为了向后只读兼容Ext2，htree
ext4分析工具C++代码
02-01
ext4是Linux系统广泛使用的日志型文件系统之一，具有高容量、高效能的特点。本篇将深入探讨如何通过C++来分析ext4文件系统，以及涉及的相关知识点。 首先，`ext4.cpp`是一个C++源代码文件，很可能包含了实现读取和...
ext4教程代码
03-05
在给定的压缩包文件列表中，每个`.zip`文件可能包含了关于EXT4的特定部分代码、实验数据或示例项目。解压这些文件后，你可以逐个分析其中的内容，结合理论知识，进一步学习EXT4的工作机制。每个文件名可能是对应的...
ext4文件系统源码
01-04
2. `include/linux/ext4.h`: 定义了EXT4相关的结构体、常量和函数原型，是理解和分析EXT4源码的关键头文件。 3. `block/mmp.c`: 处理多映射点（Multi-Mount Protection，MMP）功能，防止不同挂载点同时修改同一文件...
CEIC-EXT4-Bit-By-Bit
03-16
EXT4 是 Linux 操作系统中广泛使用的一种高性能日志式文件系统，它基于其前身 EXT3，并引入了许多新功能和改进，旨在提高性能、稳定性和安全性。 #### 二、EXT4 的主要特性 ##### 1. 48 位地址空间 - **特点**: ...
模拟EXT2文件系统.zip
06-11
7. **日志功能**：EXT2虽然不是日志文件系统，但后来的EXT3和EXT4引入了日志功能，增强了系统的稳定性和恢复性。 为了在Linux或Windows下运行，这个模拟器可能使用了跨平台的库，如`mingw`或`cygwin`，使得C代码...
计算机系统结构(02325)自考真题(201704)
最新发布
07-28
计算机系统结构(02325)自考真题(201704) 计算机系统结构（Computer Architecture）也称为计算机体系结构，它是由计算机结构外特性，内特性，微外特性组成的。经典的计算机系统结构的定义是指计算机系统多级层次结构中机器语言机器级的结构，它是软件和硬件/固件的主要交界面，是由机器语言程序、汇编语言源程序和高级语言源程序翻译生成的机器语言目标程序能在机器上正确运行所应具有的界面结构和功能。 计算机系统结构指的是什么? 是一台计算机的外表? 还是是指一台计算机内部的一块块板卡安放结构? 都不是，那么它是什么? 计算机系统结构就是计算机的机器语言程序员或编译程序编写者所看到的外特性。所谓外特性，就是计算机的概念性结构和功能特性。用一个不恰当的比喻一，比如动物吧，它的"系统结构"是指什么呢? 它的概念性结构和功能特性，就相当于动物的器官组成及其功能特性，如鸡有胃，胃可以消化食物。至于鸡的胃是什么形状的、鸡的胃部由什么组成就不是"系统结构"研究的问题了。
国家电零售业中上市公司融资问题研究—以国美电器为例.docx
07-28
国家电零售业中上市公司融资问题研究—以国美电器为例.docx
python + opencv 加载 onnx 人脸检测模型识别人脸测试使用的 人脸照片
07-28
python + opencv 加载 onnx 人脸检测模型识别人脸测试使用的 人脸照片
亲测运营版PHP汽车二手车拍卖网站源码事故车竞拍拍卖系统
07-28
PHP汽车二手车拍卖网站源码 事故车竞拍拍卖系统/内附安装教程 安装说明： 1、导入文件到数据库 2、配置数据库连接地址\include\conn.inc.php 3、后台地址 : 域名/manage
EXT2文件系统结构分析与跟踪程序
05-28
EXT2是Linux中使用的一种文件系统，它是一种基于磁盘的文件系统，支持多种文件类型和权限控制。EXT2文件系统的结构比较复杂，包括超级块、组描述符、inode表、数据块等多个部分。下面我们来分析一下EXT2文件系统的结构，并介绍一些跟踪程序。 1. 超级块 EXT2文件系统的第一个块是超级块，它包含了文件系统的基本信息，如文件系统的大小、块大小、inode数量、块数量等。超级块还包含了文件系统的状态信息和文件系统的特性信息，如是否支持日志、是否支持扩展属性等。跟踪程序可以通过读取超级块来获取EXT2文件系统的基本信息。 2. 组描述符 EXT2文件系统将磁盘空间划分为多个组，每个组包含若干个块。每个组都有一个组描述符，它包含了该组的基本信息，如该组中的块数量、inode数量、空闲块数量、空闲inode数量等。跟踪程序可以通过读取组描述符来了解文件系统中的块和inode的分布情况。 3. inode表 EXT2文件系统中的每个文件都对应一个inode，inode表记录了所有文件的inode信息。inode包含了文件的基本属性信息，如文件类型、文件大小、权限、创建时间、修改时间等。inode表还包含了文件数据块的指针，用于记录文件数据块的位置。跟踪程序可以通过读取inode表来了解文件的基本属性信息和文件数据块的分布情况。 4. 数据块 EXT2文件系统的数据块用于存储文件的实际数据。数据块分为若干个块组，每个块组包含若干个数据块。数据块可以按照不同的方式组织，如按照文件大小、按照文件类型等。跟踪程序可以通过读取数据块来获取文件的实际数据。 下面是一个简单的EXT2文件系统跟踪程序的实现： ```c #include <stdio.h> #include <stdlib.h> #include <fcntl.h> #include <sys/stat.h> #include <sys/types.h> #include <unistd.h> #include <errno.h> #define EXT2_SUPER_MAGIC 0xEF53 #define EXT2_BLOCK_SIZE 1024 typedef struct { unsigned short s_magic; // 文件系统魔数 unsigned short s_state; // 文件系统状态 unsigned int s_blocks_count; // 文件系统总块数 unsigned int s_inodes_count; // 文件系统总inode数 unsigned int s_log_block_size; // 块大小的对数（以2为底） unsigned int s_blocks_per_group; // 每个块组的块数 unsigned int s_inodes_per_group; // 每个块组的inode数 unsigned int s_first_data_block; // 第一个数据块 unsigned int s_feature_compat; // 文件系统支持的特性 unsigned int s_feature_incompat; // 文件系统不支持的特性 unsigned int s_feature_ro_compat; // 文件系统只读支持的特性 char s_volume_name[16]; // 卷名 } ext2_super_block; typedef struct { unsigned int bg_block_bitmap; // 块位图所在块号 unsigned int bg_inode_bitmap; // inode位图所在块号 unsigned int bg_inode_table; // inode表所在块号 unsigned short bg_free_blocks_count; // 块组中空闲块数 unsigned short bg_free_inodes_count; // 块组中空闲inode数 unsigned short bg_used_dirs_count; // 块组中目录数 unsigned short bg_pad; unsigned char bg_reserved[12]; } ext2_group_desc; typedef struct { unsigned short i_mode; // 文件类型和权限 unsigned short i_uid; // 文件所有者ID unsigned int i_size; // 文件大小 unsigned int i_atime; // 最近一次访问时间 unsigned int i_ctime; // 最近一次修改时间 unsigned int i_mtime; // 最近一次状态改变时间 unsigned int i_dtime; // 文件删除时间 unsigned short i_gid; // 文件所属组ID unsigned short i_links_count; // 文件硬链接数 unsigned int i_blocks; // 文件数据块数 unsigned int i_flags; // 扩展属性标志 unsigned int i_osd1; unsigned int i_block[15]; // 数据块指针 unsigned int i_generation; // 文件版本号 unsigned int i_file_acl; // 文件ACL指针 unsigned int i_dir_acl; // 目录ACL指针 unsigned int i_faddr; // 片外块地址 unsigned char i_osd2[12]; } ext2_inode; int main(int argc, char *argv[]) { int fd; ext2_super_block sb; ext2_group_desc gd; ext2_inode inode; if (argc != 2) { fprintf(stderr, "Usage: %s <device>\n", argv[0]); exit(EXIT_FAILURE); } fd = open(argv[1], O_RDONLY); if (fd == -1) { perror("open"); exit(EXIT_FAILURE); } // 读取超级块 if (pread(fd, &sb, sizeof(sb), EXT2_BLOCK_SIZE) == -1) { perror("pread"); exit(EXIT_FAILURE); } // 检查文件系统魔数 if (sb.s_magic != EXT2_SUPER_MAGIC) { fprintf(stderr, "Not an EXT2 filesystem\n"); exit(EXIT_FAILURE); } // 输出文件系统的基本信息 printf("Filesystem size: %u blocks\n", sb.s_blocks_count); printf("Block size: %u bytes\n", 1024 << sb.s_log_block_size); printf("Inode count: %u\n", sb.s_inodes_count); printf("Groups count: %u\n", sb.s_blocks_count / sb.s_blocks_per_group); // 读取组描述符 if (pread(fd, &gd, sizeof(gd), EXT2_BLOCK_SIZE * 2) == -1) { perror("pread"); exit(EXIT_FAILURE); } // 输出第一个块组的基本信息 printf("Block group size: %u blocks\n", sb.s_blocks_per_group); printf("Inode group size: %u inodes\n", sb.s_inodes_per_group); printf("Free blocks count: %u\n", gd.bg_free_blocks_count); printf("Free inodes count: %u\n", gd.bg_free_inodes_count); printf("Used dirs count: %u\n", gd.bg_used_dirs_count); // 读取inode表 if (pread(fd, &inode, sizeof(inode), EXT2_BLOCK_SIZE * gd.bg_inode_table) == -1) { perror("pread"); exit(EXIT_FAILURE); } // 输出根目录的基本信息 printf("Root inode:\n"); printf(" Size: %u bytes\n", inode.i_size); printf(" Blocks: %u\n", inode.i_blocks); printf(" Type: directory\n"); close(fd); return 0; } ``` 以上程序可以读取EXT2文件系统的超级块、组描述符和inode表，并输出文件系统的基本信息、第一个块组的基本信息和根目录的基本信息。通过这些信息，我们可以了解EXT2文件系统的结构和文件的分布情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值