F2FS源码分析-1.5 [F2FS 元数据布局部分] Node Address Table-NAT结构

最新推荐文章于 2023-09-27 14:54:46 发布
最新推荐文章于 2023-09-27 14:54:46 发布
阅读量3.1k 收藏 5
点赞数 2
分类专栏： # F2FS架构以及源码分析 页缓存及文件系统 文章标签： linux 操作系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011649400/article/details/106955060
版权
F2FS源码分析系列文章
主目录
一、文件系统布局以及元数据结构
  1. 总体结构
  2. Superblock区域
  3. Checkpoint区域
  4. Segment Infomation Table区域(SIT)
  5. Node Address Table区域(NAT)
  6. Segment Summary Area区域(SSA)
二、文件数据的存储以及读写
三、文件与目录的创建以及删除(未完成)
四、垃圾回收机制
五、数据恢复机制
六、重要数据结构或者函数的分析

Node Address Table区域-NAT结构

Node Address Table，简称NAT，是F2FS用于集中管理node的结构。它的主要维护了一张表(如下图)，记录了每一个node在flash设备的物理地址。F2FS给每一个node分配了一个node ID(nid)，系统可以根据nid从NAT查找到该node在flash设备上的物理地址，然后从flash设备读取出来。

在这里插入图片描述

NAT在元数据区域的物理结构

在这里插入图片描述

如上图所示，NAT区域由N个struct f2fs_nat_block组成，每一个struct f2fs_nat_block包含了455个struct f2fs_nat_entry。每一个nid对应了一个entry，每一个entry记录了这个node的在flash设备上的物理地址block_addr。同时entry也记录了一个ino的值，这个值用于找到这个node的parent node，如果nid=ino则表示这个node是inode，如果nid != ino，则表示这是一个direct_node或者indrect_node(node的概念参考第二章的第一节)。version变量用于系统恢复。

NAT内存管理结构

NAT在内存中对应的管理结构是struct f2fs_nm_info，它在build_node_manager函数进行初始化(如下)。struct f2fs_nm_info不会将所有的NAT的数据都读取出来，而是读取NAT的一部分，然后构建free nid表，用于给新的node分配nid。

int build_node_manager(struct f2fs_sb_info *sbi)
{
	int err;

    /* 分配空间 */
	sbi->nm_info = kzalloc(sizeof(struct f2fs_nm_info), GFP_KERNEL);
	if (!sbi->nm_info)
		return -ENOMEM;

    /* 初始化sbi->nm_info的信息 */
	err = init_node_manager(sbi);
	if (err)
		return err;

    /* 构建free nids表，用于给新的node分配nid */
	build_free_nids(sbi);
	return 0;
}

init_node_manager函数主要用于初始化sbi->nm_info内的变量信息:

static int init_node_manager(struct f2fs_sb_info *sbi)
{
	struct f2fs_super_block *sb_raw = F2FS_RAW_SUPER(sbi);
	struct f2fs_nm_info *nm_i = NM_I(sbi);
	unsigned char *version_bitmap;
	unsigned int nat_segs, nat_blocks;

    /* NAT表在flash设备的起始物理地址 */
	nm_i->nat_blkaddr = le32_to_cpu(sb_raw->nat_blkaddr);

	/* segment_count_nat includes pair segment so divide to 2. */
	nat_segs = le32_to_cpu(sb_raw->segment_count_nat) >> 1;
    
    /* NAT区域包含了多少个block，从nm_i->nat_blkaddr开始的nat_blocks就是NAT表的存储空间 */
	nat_blocks = nat_segs << le32_to_cpu(sb_raw->log_blocks_per_seg);

    /* 最大的nid的值 */
	nm_i->max_nid = NAT_ENTRY_PER_BLOCK * nat_blocks;

	/* not used nids: 0, node, meta, (and root counted as valid node) */
	nm_i->available_nids = nm_i->max_nid - F2FS_RESERVED_NODE_NUM;
	nm_i->fcnt = 0;
	nm_i->nat_cnt = 0;
	nm_i->ram_thresh = DEF_RAM_THRESHOLD;
	nm_i->ra_nid_pages = DEF_RA_NID_PAGES;
	nm_i->dirty_nats_ratio = DEF_DIRTY_NAT_RATIO_THRESHOLD;

    /* list + radix tree就是构建了类似 HashMap的索引结构，用于缓存free nid的entry */
	INIT_RADIX_TREE(&nm_i->free_nid_root, GFP_ATOMIC);
	INIT_LIST_HEAD(&nm_i->free_nid_list);
	INIT_RADIX_TREE(&nm_i->nat_root, GFP_NOIO);
	INIT_RADIX_TREE(&nm_i->nat_set_root, GFP_NOIO);
	INIT_LIST_HEAD(&nm_i->nat_entries);

	mutex_init(&nm_i->build_lock);
	spin_lock_init(&nm_i->free_nid_list_lock);
	init_rwsem(&nm_i->nat_tree_lock);

    /* 每次一次分配nid的时候，就会更新这个next_scan_nid的值，下次就可以从这里开始搜索 */
	nm_i->next_scan_nid = le32_to_cpu(sbi->ckpt->next_free_nid);
	nm_i->bitmap_size = __bitmap_size(sbi, NAT_BITMAP);
	version_bitmap = __bitmap_ptr(sbi, NAT_BITMAP);
	if (!version_bitmap)
		return -EFAULT;

	nm_i->nat_bitmap = kmemdup(version_bitmap, nm_i->bitmap_size,
					GFP_KERNEL);
	if (!nm_i->nat_bitmap)
		return -ENOMEM;
	return 0;
}

build_free_nids主要用于构建free nid表，用于给新的node分配nid。 为了节省内存，F2FS不会将NAT中所有的free nid读取出来，只会读取一部分，因此使用nm_i->fcnt表示缓存了多少个free nid。然后会读取一定的数目的f2fs_nat_block出来，并遍历其中的每一个f2fs_nat_entry，加入到free nid的管理结构中。最后还会搜索一下log区域的free nid信息(参考Checkpoint区域一节)，也加入到free nid管理结构中。

void build_free_nids(struct f2fs_sb_info *sbi)
{
	struct f2fs_nm_info *nm_i = NM_I(sbi);
	struct curseg_info *curseg = CURSEG_I(sbi, CURSEG_HOT_DATA);
	struct f2fs_journal *journal = curseg->journal;
	int i = 0;
	nid_t nid = nm_i->next_scan_nid; // next_scan_nid的含义上面有介绍，从这里开始搜索free nid

	/* *
	 * 为了节省内存，F2FS不会将NAT中所有的free nid读取出来，只会读取一部分
	 * fcnt表示目前缓存了多少个free nid，如果大于NAT_ENTRY_PER_BLOCK，则不再缓存了
	 */
	if (nm_i->fcnt >= NAT_ENTRY_PER_BLOCK)
		return;

	/* 
	 * 因为准备开始读取NAT的page(block)，因此根据nid(next_scan_nid)的所在的block开始，
	 * 读取FREE_NID_PAGES(=8)个page进入内存 
	 */
	ra_meta_pages(sbi, NAT_BLOCK_OFFSET(nid), FREE_NID_PAGES,
							META_NAT, true);

	down_read(&nm_i->nat_tree_lock);

	while (1) {
		struct page *page = get_current_nat_page(sbi, nid);

        /* 
         * 读取当前nid所在的f2fs_nat_block(page)，
         * 然后将free nid加入到nm_i->free_nid_list/root中 
         */
		scan_nat_page(sbi, page, nid);
        
        /* 释放当前的f2fs_nat_block对应的page */
		f2fs_put_page(page, 1);

        /* 已经读取了一个f2fs_nat_block，自然要跳到下一个f2fs_nat_block的第一个nid */
		nid += (NAT_ENTRY_PER_BLOCK - (nid % NAT_ENTRY_PER_BLOCK));
		if (unlikely(nid >= nm_i->max_nid))
			nid = 0;

        /* 所有block读完之后就跳出循环 */
		if (++i >= FREE_NID_PAGES)
			break;
	}

	/* 更新next_scan_nid，前面的已经扫描过了，下一次从这个nid开始扫描 */
	nm_i->next_scan_nid = nid;

	/* 遍历log的nat_journal记录的nat_entry信息，从中寻找free nid */
	down_read(&curseg->journal_rwsem);
	for (i = 0; i < nats_in_cursum(journal); i++) {
		block_t addr;
		/* 从journal中获取nid信息 */
        nid = le32_to_cpu(nid_in_journal(journal, i));
        /* 从journal中获取该nid对应的物理地址 */
		addr = le32_to_cpu(nat_in_journal(journal, i).block_addr);
        
        /* addr==NULL_ADDR 表示这个nid没有被文件使用，因此加入free nid，否则去除free nid */
		if (addr == NULL_ADDR) 
			add_free_nid(sbi, nid, true);
		else
			remove_free_nid(nm_i, nid);
	}
	up_read(&curseg->journal_rwsem);
	up_read(&nm_i->nat_tree_lock);

	ra_meta_pages(sbi, NAT_BLOCK_OFFSET(nm_i->next_scan_nid),
					nm_i->ra_nid_pages, META_NAT, false);
}

scan_nat_page函数的作用是扫描当前的f2fs_nat_block的每一个entry，并找到其中的free nid，加入到nm_i的free nid管理结构中。

static void scan_nat_page(struct f2fs_sb_info *sbi,
			struct page *nat_page, nid_t start_nid)
{
	struct f2fs_nm_info *nm_i = NM_I(sbi);
	struct f2fs_nat_block *nat_blk = page_address(nat_page);
	block_t blk_addr;
	int i;

    /* 找到start_nid的值是属于f2fs_nat_block的第几个entry */
	i = start_nid % NAT_ENTRY_PER_BLOCK;

    /* 
     * 从这个entry开始遍历，
     * 如果blk_addr == NULL_ADDR则通过add_free_nid函数加入free nid的管理结构中，
     * 同时增加nm_i->fcnt的值 
     */
	for (; i < NAT_ENTRY_PER_BLOCK; i++, start_nid++) {

		if (unlikely(start_nid >= nm_i->max_nid))
			break;

		blk_addr = le32_to_cpu(nat_blk->entries[i].block_addr);
		f2fs_bug_on(sbi, blk_addr == NEW_ADDR);
		if (blk_addr == NULL_ADDR) {
			if (add_free_nid(sbi, start_nid, true) < 0)
				break;
		}
	}
}
HuberyPan
关注
专栏目录
f2fs系列文章——sit/nat_version_bitmap
WaterWin的博客
11-26 2120
    f2fs为了防止宕机对元数据造成不可恢复的损害，所以sit/nat这种元数据有着两个副本，但是这两个副本只有一个是表示最新的数据，f2fs通过保存在cp pack中的sit/nat version bitmap来指示哪个才是最新的。本文将讲述sit和nat两个副本的放置情况，以及sit/nat version bitmap在cp pack中的放置情况，最后将描述sit/nat更新时的ver...
操作系统-番外-基于NAND存储设备文件系统F2FS
houwanfeimark的专栏
07-18 891
背景 由于磁盘的机械特征，导致要想提升它的读写速度是非常困难的。因此SSD应运而生，它的读写速度，因为没有磁头，导致其寻道时间几乎为0。 SSD的分类 基于闪存类：采用FLASH芯片作为存储介质，擦写次数有限制 基于DRAM的固态硬盘：采用DRAM作为存储介质,它是一种高性能的存储器，而且使用寿命很长，美中不足的是需要独立电源来保护数据安全 针对闪存ssd的特性，虽然其速度快，我们知道大部分的I/O操作都是随机写，如果不仔细的处理，会严重增加I/O的延迟和缩短SSD的寿命。虽然LFS和BTRFS有效的降
[F2FS 元数据布局部分] Node Address Table-NAT结构
qq_38232437的博客
08-25 555
Node Address Table区域-NAT结构 Node Address Table，简称NAT，是F2FS用于集中管理node的结构。它的主要维护了一张表(如下图)，记录了每一个node在flash设备的物理地址。F2FS给每一个node分配了一个node ID(nid)，系统可以根据nid从NAT查找到该node在flash设备上的物理地址，然后从flash设备读取出来。 NAT在元数据区域的物理结构 如上图所示，NAT区域由N个struct f2fs_nat_block组成，每一个struc
f2fs nat/sit area存储格式及current_nat_addr
tianweishuiguo的专栏
10-20 785
f2fs为了保护元数据的有效性及可恢复性，每个无数据区域均包含两个复本，如两个super block，两个check point segments,对于nat及sitarea，同样也包含两份。 对于nat area的存储方式，一直以来，都以为是先存一份，再存储另一份，类似于这种结构： 所以，对于current_nat_addr函数，一直无法理解代码实现的原理是什么。 今天偶然看了一...
f2fs系列之二： 重要的数据结构
weixin_33915554的博客
02-04 709
学习一个文件系统，需要熟悉它的数据layout，为此就必须深入理解layout相关的数据结构。结合本人最近学习f2fs的心得，下面总结了相关的几个最重要的数据结构。 基本概念 block: 4KB对齐且连续的物理存储空间segment: 2M连续的物理存储空间session: 若干连续的segment 组成zone: 若干连续的zone组成 node node是内部用来定位的。通过下面的数据结构可...
F2FS nat entry涉及的数据结构（linux 5.18.11）
geshifei的博客
10-25 1009
只要内存中生成ne，都会缓存在nat cache中（最大数量10万个，见宏定义DEF_NAT_CACHE_THRESHOLD），系统内存压力大的时候，需要回收clean状态的ne，避免f2fs对系统内存的影响。f2fs_fill_super --> f2fs_build_segment_manager --> build_curseg --> restore_curseg_summaries --> read_compacted_summaries 或 read_normal_summaries。
F2FS之磁盘NAT和SIT布局及相关函数分析
wenj12的博客
04-03 1420
NAT和SIT数据简介 关于NAT和SIT简介部分请参考 https://blog.csdn.net/u011649400/article/details/106955060 https://blog.csdn.net/u011649400/article/details/102490983 SIT的实际磁盘布局 SIT区域的实际构图如上所示。以f2fs_sit_block为单位进行存储，共有2blocks个f2fs_sit_block，其中blocks=sit_info->sit_blocks，即
4.3 F2FS
最新发布
shenfan321的博客
09-27 402
基于LFS(Log-structured File System)类型，使用copy-on-write策略直接写到新的数据块上，避免等待block擦除的开销，解决了需要先擦后写的问题；：在设备的第一个Segment (2MB)内。考虑到冗余，有2个f2fs_super_block结构，包括整个磁盘的segment数量、各个管理区域的起始地址、支持的特性。append-only的日志写策略，将随机写转化成顺序写。为了保证数据一致性,分为CP #0和CP #1，每个CP占一个Segment（2MB）
F2FS简介.docx
05-10
- **Wandering Tree 问题**：F2FS 引入 Node Address Table (NAT) 来存储所有节点块的位置，避免了递归更新，降低了开销。 - **Cleaning 开销**：F2FS 支持后台垃圾回收机制，能够最小化清理过程中需要转移的数据量...
Linux文件系统初析（二）
weixin_38428439的博客
12-04 384
1、Linux文件系统中有两个非常重要的概念——page cache和IO，可以参看以下博客来熟悉以下（后面有空再整理源码架构） 相关博客： Linux 文件系统解析（三）cache_xyin_kevin的博客-CSDN博客https://blog.csdn.net/qq_32740107/article/details/106867342?spm=1001.2014.3001.5501Linux 文件系统解析（四）IO模式_xyin_kevin的博客-CSDN博客文件系统是IO流程...
linux常用命令-part3
热门推荐
chinayuan的专栏
05-01 2万+
中文怎么发音 Ubuntu 有奔头，乌版图 Fedora 费德勒，菲朵拉 Debian 迪扁，德槟 CentOS 桑托斯 森头斯       Linux发展历史: 1) RedHat ---> 1.RedHat                2.CentOS                3.Fedora  桌面图形系统        rpm, yum 命令 2)
f2fs解析（八）node 管理器中的node_info
weixin_30847939的博客
11-07 327
free_info 功成身退，node_info顺利接班。 // 这里还是蛮复杂的一件事，如果不搞清除的话，这个历史性的接班工作我们就接不上 上面说到 alloc_nid 和 alloc_nid_done 之后，这个free_nid算是被完全清除了。我们知道free_info 和 node_info 结构体的桥梁就是nid了，那么我们看下这个nid干什么用了！搜alloc_nid，主要有两处：...
F2FS 基础知识二
weixin_42978662的博客
02-10 1625
1.文件索引树结构 大多数现代文件系统都喜欢使用 B-trees 或类似的结构来管理索引（index）以定位文件中的 blocks。大多数文件系统中通过使用“extents”来减少文件数据块的总索引大小。F2FS 不采用 B-tree 结构管理索引，也不使用extents减少文件数据块索引的大小（虽然F2FS为每个节点(node)维护一个extent作为提示） 所谓的extent指的是一段连续的物理磁盘块，这样，只需要一个extent数据结构我们就能描述一段很长的物理磁盘空间，性价比很高。ext4文件
F2FS文件系统二 实验分析f2fs文件系统
frank_zyp的博客
08-01 4921
一、环境准备： 1、ubuntu系统安装f2fs-tools：sudo apt-get install -y f2fs-tools 2、使用系统loop设备进行实践操作： dd if=/dev/zero of=device bs=4K count=51200 //200M losetup /dev/loop0 device //寻址可用的loop设备 mkfs.f2fs -l f...
F2FS数据块寻址（linux5.18.11）
geshifei的博客
10-09 1536
存储元数据（比如ino、寻址数据块用到的一些信息等等）的block。node block有三种类型：inode block、direct node block、indirect node block。node block在内存中以struct f2fs_node表示。存储文件数据的block。F2FS的每个分区disk layout简化后如下图所示，Main area区按照section划分成多个单元，每个section又包含多个segment（默认情况下1个section含1个segment）。
f2fs学习笔记 - 3. F2FS文件系统布局
HZero
01-10 3757
目录1.前言2.F2FS布局说明2.1. super block(block 0x0 ~ block 0x1ff)2.2 CP(block 0x200 ~ block 0x5ff)cp page1nat journalsit journaldata summarycurrent hot node summarycurrent warm node summarycurrent cold node summarycp page22nd checkpoint2.3 SIT(block 0x600 ~ block
F2FS之读取最新的checkpoint块
wenj12的博客
04-02 535
在F2FS文件系统中为了读取最新的CP块给超级块对象中的sbi->ckpt，是调用int get_valid_checkpoint(struct f2fs_sb_info *sbi)函数 。 int get_valid_checkpoint(struct f2fs_sb_info *sbi) { struct f2fs_checkpoint *cp_block; struct f2fs_super_block *fsb = sbi->raw_super;//磁盘超级块 struct pag
f2fs创建一个文件的具体过程
sunwukong54的专栏
05-12 3868
假设需要创建一个文件/dir/file： f2fs_sb_info保存了根目录的inode number，假设是0，此时NAT布局如下： 由于inode number就是node number，查找第0个node的块地址，得到4，然后f2fs读SSD上第4个块的数据，得到了根目录的inode： 解析inode的信息，他的数据依次存在了120,200,300,400的块上，读入
f2fs删除文件
紫水金华
02-01 827
int truncate_inode_blocks(struct inode *inode, pgoff_t from) { struct f2fs_sb_info *sbi = F2FS_I_SB(inode); int err = 0, cont = 1; int level, offset[4], noffset[4]; unsigned int nofs = 0; struct
星载闪存数据管理：F2FS在航天领域的优化与应用
深入分析了闪存内部并行处理对文件系统的影响，F2FS的优势进一步得以体现，它能更好地适应星载闪存的数据管理需求。论文提出了一些针对星载环境的改进方案，如优化数据分布、提升元数据缓存效率以及实现更精细的写入...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值