HDFS:NameNode与SecondaryNameNode的工作机制

文章介绍了HDFS中fsimage和edits文件的作用,NameNode如何合并元数据并处理客户端操作,以及SecondaryNameNode在定期Checkpoint过程中的备份和数据同步功能。注意,SecondaryNameNode不承担实时工作,可能导致部分数据丢失。
摘要由CSDN通过智能技术生成

1.用到的名称

        fsimage文件:记录HDFS文件系统的所有目录和文件inode序列化信息。也就是相当于记录元数据

        edits文件:记录所有HDFS文件系统中所有更新操作,当更新操作发生时首先记录到此文件

        seen_txid文件:保存最新一个edits文件的数字

NameNode工作机制

        1.当NameNode启动时:会根据seen_txid文件中保存的edits数字读取最新的edits文件,然后读取fsimage文件,将两者数据合并生成元数据信息加载到内存中

        2.client发送元数据的增删改操作(如修改某个路劲,新增某个文件等)

        3.NameNode将操作追加记录到edits文件中,然后更新内存中的元数据

SecondaryNameNode工作机制

        1.2nn根据配置来请求是否执行Checkpoint操作(如时间到了,edits文件满了)

        2.2nn执行Checkpoint操作

        3.将NameNode节点上的正在写入的edits文件重命名一个名称,然后生成一个新的edits文件,新来的操作请求将写入这个新的edits文件中

        4.将重命名后的edits文件和fsimage文件拷贝到2nn节点

        5.2nn将两个文件合并加载到内存中,然后生成一个新的fsimage文件

        6.2nn将这个新的fsimage文件拷贝到NameNode上然后覆盖之前的fsimage文件

注:2nn不能代替NameNode进行工作。他的工作就是负责备份一些namenode的管理的相关信息,还可以辅助恢复一些nameNode的数据,但是在2nn触发Checkpoint操作之前到上一次触发Checkpoint操作之后的数据将会丢失。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值