NameNode节点加载FSImage+EditsLog

      在前面的博文中,我曾多次提到过在NameNode的启动过程中有加载FSImage+EditsLog这一必不可少的一项。关于文件fsImage和文件edits是用来存放神马的,我在这里就不用在重复了吧。在本文我将详细的叙述NameNode是如何加载fsimage和edits文件的。

      在NameNode节点启动之前,我们一般会在配置文件hdfs-default.xml中分别配置文件fsImageedits所在的路径,它们对应配置文件中的项dsf.name.dir、dfs.name.edits.dir。同时,也可以同时配置多个fsImageedits的路径,其中fsImageedits也可以有相同的路径。无论是文件fsImage的路径还是文件edits的路径,NameNode都会把它抽象成一个StorageDirectory对象:

因此,每一fsimage的路径被实例化为IMAGE类型的StorageDirectory对象,每一个edits的路径被实例化为EDITS类型的StorageDirectory对象,而既是fsimage又是edits的路径则被实例化为IMAGE_AND_EDITS类型的StorageDirectory对象。对于配置了多个fsimage和edits的路径的启动,NameNode并不会加载加载,而是从IMAGE类型的StorageDirectory集合中挑选一个最新版本的fsimage文件,从EDITS类型的StorageDirectory的集合中挑选一个最新版本的edits文件,当然IMAGE_AND_EDITS类型的StorageDirectory既可以看作是IMAGE类型的,也可以看作是EDITS类型的。至于如何判断一个StorageDirectory是不是最新的,主要是根据StorageDirectory中fstime文件存放的时间戳来确定的。在选取最新的fsimage、edits文件之后还要保证他们的版本相同,否则整个NameNode节点的启动过程失败。下面还是用一张图来描述整个过程吧!


     在理想的情况下,上述过程没有半点问题,但是如果在这一过程中突然出现了宕机或者是断电的异常情况而被迫中断,特别是在保存最新的目录树的时候,那么NameNode在重启之后又是如何恢复的呢?实际上,在上面的流程图中,我故意遗漏了一个相当重要的过程——checkpoint的恢复过程。这个过程在加载当前最新的fsimage文件之前,主要是恢复最新的fsimage、edits目录。


        对于上面的这个简单的恢复过程,在edits.new文件存在的情况下继续完成上一次的加载,而在 edits.new文件不存在的下放弃上一次的加载,回到上一次加载之前的状态,这是为什么呢?我会在后面的博文中提及。
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值