小编现在大三了,最近一直在配置集群环境,昨天配置好的hadoop可能是太累了看到NameNode启动就没管了,今天上课才发现使用start-dfs.sh启动服务后,通过jps查看服务发现没有DataNode进程。
通过在网上搜索资料发现,是因为我自己以前配置了一次hadoop,但是那次因为没有时间也就没有配置成功,相当于是一个半成品放在那个地方,而且那次也已经通过hdfs namenode -format将NameNode格式化了,现在发现hdfs namenode -format一定要慎用。
原因在于多格式化之后,DataNode的clusterID 和 NameNode的clusterID 不匹配。这导致了DataNode无法启动。
解决方法:配置后之后只进行一次格式化,格式化之后会导致datanode的clusterID 和 namenode的clusterID的不一致,就要进行替换。
进入到vim /apps/hadoop/tmp/namenode/current/VERSION,
将clusterID复制过来,将datanode/current/VERSION下的clusterID替换成复制过的clusterID。
修改好之后将hadoop的进程服务全部关闭:stop-all.sh
重新打开hdfs服务:start-dfs.sh
使用jps查看进程之后发现datanode已经启动成功了。