本文详细介绍了HDFS的目录结构，包括namenode的namenodeID、clusterID、blockpoolID和cTime等关键属性，以及datanode的存储目录特点。namenode内存中维护文件系统的元数据，编辑日志用于记录事务，fsimage文件作为元数据检查点。datanode的数据块分布采用轮转方式，确保块在不同磁盘间的均衡。同时，还提到了如何查询和管理namenode的安全模式。
-
namenode的目录结构
namenodeID是文件系统命名空间的唯一标识符，是在namenode首次格式化时创建的。clusterID是将HDFS集群作为一个整体赋予的唯一标识符，对于联邦HDFS非常重要，这里一个集群由多个命名空间组成，且每个命名空间由一个namenode管理。blockpoolID是数据块池的唯一标识符，数据块池中包含了由一个namenode管理的命名空间中的所有文件。cTime属性标记了namenode存储系统的创建时间。对于刚刚格式化的存储系统，这个属性值为0，但是在文件系统升级之后，该值会更新到新的时间戳。storageType属性说明该存储目录包含的是namenode的数据结构。in_use.lock文件是一个锁文件，namenode使用该文件为存储目录加锁，可以避免其他namenode实例同时使用(可能会破坏)同一个存储目录的情况。namenode在内存中维护文件系统的元数据，当编辑日志被修改时，相关元数据信息也同步更新，内存中的元数据可支持客户端的读请求。
编辑日志体现为磁盘中的多个文件，名称由edits前缀和后缀指示出该文件所包含的事务ID。任意时刻只有一个文件处于打开可写状态，当namenode向多个目录写数据时，只有当左右的写操作更新并同步到每个复本之后方可返回成功代码。
每个fsimage文件都是文件系统元数据的一个完整的永久性检查点，如果namenode发生故障，最近的fsimage文件将被载入到内存以重构元数据的最近状态，再从相关点开始向前执行编辑日志中记录的每个事务，
最低0.47元/天 解锁文章
扫一扫
3369
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
