HDFS搭建常见问题及解决

本篇文章记录本人搭建HDFS集群时遇到的问题及解决方案

集群 :NameNode,DataNode1,DataNode2,DataNode3

问题1:

	 集群启动成功后,DataNode3无法正常启动
	 1.尝试重新格式化NameNode,重新启动集群,结果遇到了第二个问题,所有DataNode均无法正常启动。

问题2:

	 DataNode均无法正常启动【产生问题原因：重新格式化NameNode之后clusterID值发生变化，无法与各个DataNode建立映射关系】
     1.尝试修改各个DataNode的clusterID，再次重新启动集群,于是遇到了第三个问题，就连NameNode也不能启动了
     提示：clusterID在各个节点hdfs-site.xml配置文件中dfs.datanode.data.dir配置项的路径下的VERSION文件中
     【即/home/hadoopData/dfs/dataNode3路径下的VERSION文件中】

问题3:

	NameNode也无法正常启动
	1.尝试删除NameNode及各个DataNode节点hdfs-site.xml配置文件中dfs.datanode.data.dir配置项的路径,再次重新格式化,再次重新启动-
	结果NameNode、DataNode1、DataNode2恢复正常，DataNode3依然无法启动。
	这样又回到了最初的问题。
	2.于是开始查看DataNode3的log,发现此节点core-site.xml配置文件配置有误。更改之后再次重新启动集群,DataNode3恢复正常。



经过一系列调试,HDFS集群终于正常工作!!!!!!
切记所有节点,均要关闭防火墙!!!!!!!