元数据
HDFS的目录结构,包含哪些文件夹子文件夹,以及文件夹下面包含哪些文件,以及每个文件的Block信息(id,副本系数,Block存放在那个DataNode上)
元数据存放在${hadoop.tmp.dir}/name
路径下。
在NameNode的内存中有一个树形结构,存放的就是元数据信息,对文件的任何修改都在内存中有体现,但是如果机器挂掉之后,内存中的数据就会丢失,因此NameNode会定期将内存中的元数据写到磁盘中,写入磁盘中的文件就是fsimage
,但是这只能解决一部分的问题,仍然会出现数据丢失的问题,因此HDFS采用记录日志的方式来记录操作,类似于mysql记录日志。HDFS日志就记录在edits文件中,这个文件中记录了一段时间内所有对HDFS相关的操作操作。如果机器重启之后,将fsimage
与edits
两者结合起来就可以将数据恢复,数据就不会丢失了,这种操作往往是由SecondaryNameNode来完成,NameNode是响应客户端的所有请求,本身压力就不小,因此合并的操作就交给SecondaryNameNode来做。
SecondaryNameNode与NameNode的关系不是主备关系,是专门用来做合并操作的。当需要合并时,首先获取NameNode中的fsimage
与对应的edits
,然后在内存中可以形成一个树形结构,将edits
更新到内存中去,这样就得到一个完整的数据。
整个过程就叫做CheckPoint