创建Hadoop集群时踩得坑--datanode不翼而飞问题

datanode不翼而飞问题

我们格式化成功后,启动集群.之后我们用jps查看进程,老大namenode出现了,十分开心.但是发现是个光杆司令,小弟datanode一个没有.干活的一个没来,问题之严重,甚是惶恐..此时我们去datanode的节点查看启动日志(Hadoop的安装目录下的logs文件中,大家一定要学会出现问题查看日志):

简单解读一下:不相容的clusterIDs(集群id),我们集群namenode下存储的集群id是:CID-*****283,而datanode下的集群id:CID-*****101b.通常我们来说一个东西的id基本上就是这个东西的唯一标识,放在这里.namenode和datanode的这个唯一标识不一样,那就意味着他们不在一个体系中.这就很好的解释了为什么datanode会不见的原因:老大namenode建立一个帮派,帮派号码(id)是1.此时小弟们需要集合,但是小弟手中的帮派号码是2.此时小弟们忠心耿耿,肯定希望找到帮派号码是2的帮派加入,所以就在号码为1的帮派门前看了眼,发现不匹配就走人了.

那造成上面这种情况的原因,也就是出现两个不同的集群id的原因是什么呢?就是我们在启动集群前,格式化了多次.

注意:我们成功的格式化只能做一次.一锤子买卖.

这是为什么呢?我们以正确格式化和启动集群的例子做演示...

其实格式化的时候实质是对hdfs的namenode进行的格式化,为了生成namenode的数据文件目录,也就是我们在hdfs-site.xml中配置的.(这个位置已自己配置的为准).