第126讲：Hadoop集群管理之Datanode目录元数据结构详解学习笔记

第126讲：Hadoop集群管理之Datanode目录元数据结构详解学习笔记

namenode是管理hdfs文件系统的元数据

datanode是负责当前节点上的数据的管理，具体目录内容是在初始阶段自动创建的。在用hdfs dfs namenode format时并没有对datanode进行format。

在datanode中目录是按文件信息存储的。

datanode存在于具体节点上的hadoop-2.6.0/dfs/data/current中。

datanode的VERSION内容与namenode的VERSION内容相似。

storageID：在namenode与datanode沟通时，datanode会从namenode获得storageID。对于具体datanode来说，storageID是唯一的。

从datanode访问namenode时需要这个ID。

namenode可以用这个属性区分不同的datanode。

其他内容：clusterID/cTime/storageType

从数据存储角度看datanode中有很多以block开头的文件，这些文件有两种：

1.hdfs本身的块文件，具体的原始数据。

2.块的元数据，以meta为后缀。

块文件包含所存储文件的原始文件，元数据包含头部和当前块的区段，校验等信息。

hadoop在设置datanode的目录结构时，会创建子目录来存放文件的数据块及元数据信息。如果当前目录中存放了64个数据块（可设置：dfs.datanode.number.blocks）就创建子目录。

一次进行一个树状的拓扑结构。这样就使用datanode容易管理各个目录的文件，避免了很多block<