Hadoop重新格式化

Hadoop的重新格式化

介绍

Hadoop进行多次的格式化（hdfs namenode-format），会导致找不到datanode结点。

原因

每次格式化后，名称结点 的clusterID（集群ID）会被新建，而数据结点的clusterID还是原来的，造成名称结点和数据节点的clusterID不一致

解决方法

在重新格式化之前一定要先删除data数据和log日志。然后再进行格式化。

1. 停止所有Hadoop进程（stop-all.sh）
2. 删除 配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件

vim /bigdate/hadoop-2.6.4/etc/hadoop/hdfs-site.xml

<configuration> 
           
  <property> 
    <name>dfs.name.dir</name>
    <value>/root/bigdate/hadoop-2.6.4/hdfs/name</value>
  </property> 
    
  <property>
    <name>dfs.data.dir</name>
    <value>/root/bigdate/hadoop-2.6.4/hdfs/data</value>
  </property> 

</configuration>

删除 dfs.name.dir和dfs.data.dir所指目录里的文件
（rm -rf /root/bigdate/hadoop-2.6.4/hdfs/name data）

3. 删除hadoop日志文件和缓存文件

rm -rf logs tmp

4. 重新格式化文件系统（hdfs namenode - format 或 hadoop namenode - format）
5. 启动Hadoop进程（start-all.sh）

TIP:各节点都要删除指定文件