Hadoop的冷备、热备

冷备份: Hadoop1.X :NameNode(主) SecondaryNameNode(从)
在Hadoop1.X中,SecondaryNameNode会按照时间阈值(比如24小时)或者edits日志大小阈值(比如1G),周期性的将fsimage和edits合并成新的fsimage并替换,然后将最新的fsimage推送给NameNode,减少 NameNode 启动时间;
非实时merge,一旦NameNode挂了,可能会导致元数据丢失;
热备份: Hadoop2.X:Active NameNode(主) Standby NameNode(从)
在Hadoop2.X中采用主从架构,这个动作是由Standby NameNode来完成;一旦Active NameNode挂掉,Standby NameNode会实时同步前者的fsimage,并将merge后的新fsimage文件替换前者中旧的fsimage文件;
实时merge,一旦前者挂了,后者能够马上顶上,不会出现元数据丢失;
热备的切换,需要zookeeper的协助,具体步骤参考:https://blog.csdn.net/jiweiwong/article/details/51774879?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task

fsimage文件:是HDFS文件系统存于硬盘中的元数据检查点(即全量),里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息;
edits log文件:保存了自最后一次检查点之后所有针对HDFS文件系统的操作(即增量),比如:增加文件、重命名文件、删除目录等等。

在NameNode启动时候,会先将fsimage中的文件系统元数据信息加载到内存,然后根据eidts中的记录将内存中的元数据同步至最新状态;所以,这两个文件一旦损坏或丢失,将导致整个HDFS文件系统不可用。

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TriumPhSK

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值