Hadoop NameNode重新格式化 Failed to add storage directory [DISK]file

1.介绍

在NameNode重新格式化之前，需要删除DataNode上的数据和log日志。不然会造成NameNode和DataNode的clusterID不一致的问题。会有以下报错信息：

Failed to add storage directory [DISK]file

 

2.重新格式化流程

（1）停止Hadoop服务

在NameNode上执行

需要已经配置好了环境变量

stop-all.sh

 

（2）删除DataNode上的数据和log日志

查看hdfs-site.xml中的dfs.namenode.name.dir和dfs.datanode.data.dir（以下路径是我在Ambari2.7.3上的路径）

vim /usr/hdp/3.1.0.0-78/hadoop/etc/hadoop/hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/data1/hadoop/dn</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/data1/hadoop/nn</value>
    <final>true</final>
</property>

分别NameNode上和DataNode上在删除上面的目录

rm -rf /data/data1/hadoop/dn

rm -rf /data/data1/hadoop/nn

 

（3）格式化

在NameNode上执行

hdfs namenode -format

 

（4）启动Hadoop集群

在NameNode上执行

start-all.sh