名字节点(NameNode)目录结构

最新推荐文章于 2024-07-03 20:49:24 发布

engineer-yang

最新推荐文章于 2024-07-03 20:49:24 发布

阅读量4.1k

点赞数 1

分类专栏： Hadoop Linux JAVA 文章标签：数据存储 namenode 集群 hdfs

本文链接：https://blog.csdn.net/yang004/article/details/53689020

版权

本文详细探讨了HDFS中NameNode的目录结构，包括current和previous目录的作用，以及VERSION、edits和fsimage文件的内容。transactionId用于标识每次命名空间修改，VERSION文件记录版本号和集群ID。Fsimage存储文件系统的静态元数据，而edits文件记录后续的更新操作。NameNode启动时，将fsimage加载到内存并应用edits以保持最新状态。

摘要由CSDN通过智能技术生成

本文章主要介绍名字节点元数据的存储目录结构，以及每个文件的基本内容。

一目录结构图

NameNode 的元数据存储目录结构：
这里写图片描述

二文件基本介绍

current目录为当前集群正在使用的目录，previous目录是版本升级之前的目录。版本进行回滚的时候，previous目录就会发挥作用。
我们首先了解一下transactionId的概念。当客户端没发起一次RPC请求对NameNode的名字空间进行修改后，NameNode会用一个唯一的transactionId标识。
①VERSION ：版本号、集群号、创建时间、类型等。
②edits_start ID-end ID ： edits文件中存放的是客户端执行的所有更新命名空间的操作。每个edits文件都包含了文件名中start transaction id - end transaction id之间的所有事务。
③edits_inprogress__start transaction ID ：正在被追加的日志。所有从transaction id开始的新的修改操作都会被记录在此文件中，直到HDFS重置(roll)这个日志文件。
④fsimage_end transaction ID ： Hadoop文件系统元数据的一个永久的检查点，包含了end transaction id之前的完整的HDFS名字空间元