hadoop 副本不足或者损坏情况以及两个standby namenode的处理

一 hadoop两个standby namenode的处理

1.先检查zookeeper启动是否正常，配饰是否正确
2.重启启动namenode和zkfc
3.如果没有恢复正常，在namenode上面执行bin/hdfs haadmin -transitionToActive nn2
其中nn2是你的namenode中的一个（如果是新配置的HAhadoop集群，可能是zkfc（DFSZKFailoverController）没有格式化导致namenode节点的自动切换机制没有开启）

如果是两个active namenode，执行下面

bin/hdfs haadmin -transitionToStandby nn2

二、安全模式

当 hdfs的NameNode节点启动时，会进入安全模式阶段。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。

在此阶段，NameNode加载fsimage（Filesystem image：文件meta信息的持久化的检查点）文件到内存中，然后在editlog中执行相应的操作。加载fsimage文件包含文件metadata信息，但是不包含文件块位置的信息。

DataNode启动的时候扫描本地磁盘，保存的block信息，然后将这些信息汇报给NameNode,让 NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。

如果hdfs数据量很大时，进入至退出安全模式时间较长。

三、安全模式退出条件

当最小副本条件满足时，即一定比例（dfs.safemode.threshold.pct缺省值0.999f）的数据块都达到最小副本数，系统就会退出安全模式。当最小副本条件未达到要求时，就会对副本数不足的数据块安排DataNode进行复制，直至达到最小副本数。如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。而在安全模式下，系统会处于只读状态，NameNode不会处理任何块的复制和删除命令。

dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元 数据 记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

四、修复hdfs

1、手动修复：

#首先检查哪些数据块丢失了
hdfs fsck /

# 修复指定路径的hdfs文件，尝试多次
hdfs debug recoverLease -path 文件位置 -retries 重试次数 

此时，hdfs就能被修复了，切记不要使用hdfs fsck / -delete 命令，它是删除所有损坏的块的数据文件，会导致数据彻底丢失，当然若只有