HDFS元数据管理

元数据

HDFS的目录结构，包含哪些文件夹子文件夹，以及文件夹下面包含哪些文件，以及每个文件的Block信息（id,副本系数，Block存放在那个DataNode上）
元数据存放在${hadoop.tmp.dir}/name路径下。
在NameNode的内存中有一个树形结构，存放的就是元数据信息，对文件的任何修改都在内存中有体现，但是如果机器挂掉之后，内存中的数据就会丢失，因此NameNode会定期将内存中的元数据写到磁盘中，写入磁盘中的文件就是fsimage，但是这只能解决一部分的问题，仍然会出现数据丢失的问题，因此HDFS采用记录日志的方式来记录操作，类似于mysql记录日志。HDFS日志就记录在edits文件中，这个文件中记录了一段时间内所有对HDFS相关的操作操作。如果机器重启之后，将fsimage与edits两者结合起来就可以将数据恢复，数据就不会丢失了，这种操作往往是由SecondaryNameNode来完成，NameNode是响应客户端的所有请求，本身压力就不小，因此合并的操作就交给SecondaryNameNode来做。
SecondaryNameNode与NameNode的关系不是主备关系，是专门用来做合并操作的。当需要合并时，首先获取NameNode中的fsimage与对应的edits，然后在内存中可以形成一个树形结构，将edits更新到内存中去，这样就得到一个完整的数据。
整个过程就叫做CheckPoint