1、基本概念
namenode:用于管理datanode和hdfs文件信息
namenode有两个重要文件fsimage和editslog
namenode容错机制
1、备份那些组成文件系统元数据持久态的文件
2、运行一个辅助namenode,但是不能被用作namenode。作用是定期通过编辑日志合并命名空间镜像
1.1 fsimage
fsimage:包含文件系统中的所有目录和文件inode的序列化信息。
fsimage文件是文件系统元数据的一个永久检查点。并非每一个写操作都更新该文件,fsimage 文件巨大,执行写操作极为耗时,namenode发生故障时,载入fsimage到内存,重构新近的元数据(像namenode那样启动)
fsimage 并不记录块存储在哪个datanode,却而代之的是,namenode将映射关系放在内存中。当datanode加入集群时,namenode向datanode索取块列表以建立块的映射关系;namenode还将定期征询datanode以确保拥有最新的映射。
每个innode是一个文件或目录的元数据的内部描述方式。
*对于文件来说,包含的信息有“复本级别”,修改时间和访问时间,访问许可,块大小,组成一个文件的块等;
对于目录来说,包含的信息有修改时间,访问许可,配额元数据等信息*
1.2 editslog
记录操作的日志文件。
editslog会记录大量操作记录,当namenode重启时再次载入editlog时需要很多时间。
解决方案是:
运行辅助namenode,为主namenode内存中的文件系统元数据创建检查点。
创建检查点的步骤:
1、辅助namenode请求主namenode停止使用edits log 文件,并重新创建新的一个editslog进行写入。
2、辅助namenode从主namenode中获得fsimage和edits log
3、辅助namenode将image文件载入内存,逐一执行editslog文件中的操作,创建新的fsimage文件。
4、辅助namenode将新的fsimage文件发送回主namenode(使用http post)
5、主namenode接收辅助namenode的fsimage文件替换掉旧的fsimage文件;同时1操作中的新edits log替换掉旧的editslog文件。同时更新fstimes文件记录检查点的执行时间。
结果主namenode中拥有最新的fsimage和更加小的editslog文件。