hadoop主节点（NameNode）备份策略以及恢复方法

最新推荐文章于 2024-07-01 13:45:44 发布

oO寒枫Oo

最新推荐文章于 2024-07-01 13:45:44 发布

阅读量3.8k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/lxpbs8851/article/details/9915889

版权

本文详细介绍了Hadoop主节点NameNode的备份策略，包括dits和fsimage的作用，Secondary NameNode如何定期合并fsimage和edits以控制文件大小，以及在NameNode故障时如何通过Import Checkpoint快速恢复数据。同时提到了在hadoop-0.21.0及后续版本中，Checkpoint Node和Backup Node作为更好的备份选项。

摘要由CSDN通过智能技术生成

一、dits和fsimage

首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。

集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。
当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后更新fsimage的HDFS状态，创建一个新的edits文件来记录文件系统的变化

那么问题来了，只有在名称节点（NameNode）启动的时候才会合并fsimage和edits，那么久而久之edits文件会越来越大，特别是大型繁忙的HDFS集群。这种情况下，由于某种原因你要重启名称节点（NameNode），那么会花费很长的时间去合并fsimge和edits，然后HDFS才能运行。

二、Secondary NameNode

目前使用的版本hadoop-0.20.2可以使用Secondary NameNode来解决上面的问题。Secondary NameNode定期合并fsimage和edits日志，把edits日志文件大小控制在一个限度下。因为内存需求和NameNode差不多(On the same order)，所以Sencondary NameNode通常要运行在另外个机器上。

secondary NameNode配置在conf/masters文件，启动命令:bin/start-dfs.sh（如果你使用不建议的start-all.sh也是会启动的）。