Hadoop NN备份与恢复



    Hadoop NameNode的备份与恢复

一、同时备份NN，以及SNN

关闭集群对NN，SNN备份（最后一次备份时间越近，丢失的数据越少）。

1、备份前，需要确保NameNode，SecondanryNameNode进程全部停止。

2、cd /dfs/nn

      tar -cvf /root/nn_backup_data.tar .

      cd /dfs/snn

      tar -cvf /root/snn_backup_data.tar .

3、之后启动集群。

恢复操作:

确保NameNode ，SecondanryNameNode服务停止。

1、将/root/nn_backup_data.tar，/root/snn_backup_data.tar分别放回到/dfs/nn，/dfs/snn目录。

2、解包：tar -xvf xxxxxx

3、启动NameNode ，SecondanryNameNode

 

后期处理：

 

1、hdfs块丢失：

su - cloudera

检查hdfs文件系统存储状态：

sudo -u hdfs hadoop fsck /

将丢失的数据块删除，或者移走（垃圾回收站）

sudo -u hdfs hadoop fsck -delete

sudo -u hdfs hadoop fsck -move

对存放的数据块指定副本数：

sudo -u hdfs hadoop fs -setrep -R 2 /

 

以上是同时备份NN，SNN的情况，属于一致性备份，这样的备份要求备份的频率比较高。