hdfs之namenode学习记录

1、基本概念

namenode:用于管理datanode和hdfs文件信息
namenode有两个重要文件fsimage和editslog
namenode容错机制
1、备份那些组成文件系统元数据持久态的文件
2、运行一个辅助namenode，但是不能被用作namenode。作用是定期通过编辑日志合并命名空间镜像

1.1 fsimage

fsimage：包含文件系统中的所有目录和文件inode的序列化信息。
fsimage文件是文件系统元数据的一个永久检查点。并非每一个写操作都更新该文件，fsimage 文件巨大，执行写操作极为耗时，namenode发生故障时，载入fsimage到内存，重构新近的元数据（像namenode那样启动）
fsimage 并不记录块存储在哪个datanode，却而代之的是，namenode将映射关系放在内存中。当datanode加入集群时，namenode向datanode索取块列表以建立块的映射关系；namenode还将定期征询datanode以确保拥有最新的映射。
每个innode是一个文件或目录的元数据的内部描述方式。
*对于文件来说，包含的信息有“复本级别”，修改时间和访问时间，访问许可，块大小，组成一个文件的块等；
对于目录来说，包含的信息有修改时间，访问许可，配额元数据等信息*

1.2 editslog

记录操作的日志文件。
editslog会记录大量操作记录，当namenode重启时再次载入editlog时需要很多时间。
解决方案是：
运行辅助namenode，为主namenode内存中的文件系统元数据创建检查点。
创建检查点的步骤：
1、辅助namenode请求主namenode停止使用edits log 文件，并重新创建新的一个editslog进行写入。
2、辅助namenode从主namenode中获得fsimage和edits log
3、辅助namenode将image文件载入内存，逐一执行editslog文件中的操作，创建新的fsimage文件。
4、辅助namenode将新的fsimage文件发送回主namenode（使用http post）
5、主namenode接收辅助namenode的fsimage文件替换掉旧的fsimage文件；同时1操作中的新edits log替换掉旧的editslog文件。同时更新fstimes文件记录检查点的执行时间。

结果主namenode中拥有最新的fsimage和更加小的editslog文件。