HDFS元数据管理(checkpoint机制)

 NameNode的主要职责是记录用户存储数据的数据元信息

元数据:文件块,文件存储位置,块大小,副本的个数,文件的权限......

记录元数据的形式由两种

元数据存储在内存上:内存对象

元数据存储在磁盘上:内存对象的序列化文件

 当客户端对HDFS上的数据进行操作以后,数据的元数据会发生变化,NameNode可以FSImage.saveImage()修改内存对象数据.(内存中的数据存储量有限)

为了保证宕机后数据的正确性,我们可以设计定期的将存储元数据FSImage对象序列化到磁盘上,但是会占用系统资源

当用户操作做数据的时候,会将用户的操作记录在edit日志中,随着时间的推移,日志数据也会越来越大,当宕机重启的时候会花费大量时间加载日志数据,启动时间过长,用户无法操作

这个时候引入SecondryNameNode用来对存储数据的元数据处理(checkpoint机制),大致如下:

下载NameNode的Fsimage000000文件(初始化文件,只下载一次)

下载生成好的日志文件,没有_inprocess的日志文件(1小时一次)

加载镜像文件生成内存对象

加载日志文件,修改镜像对象

序列化镜像对象

将镜像对象上传到NameNode中

清理NameNode上没用的日志数据和序列化的镜像文件

定期下载日志文件,合并镜像对象,上传到NameNode上