Hadoop 启动后使用JPS查看没有DataNode
在伪分布式运行hadoop,发现DataNode没有启动:
然后在网上查找了如何解决这个问题的方法,但是其中有一部分没有看懂,后来才猜测处作者的意思,所以在自己记录一下。
一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。
发现错误之后在hadoop所在位置中找到logs路径:
我的路径如上图,然后找到datanode日志文件打开。
找到错误的地方:
如图,复制这个namenode clusterID。
找到配置文件hdfs-site.xml
,
找到data目录,在这个目录下,有一个VERSION文件。将VERSION中的clusterID改成上面复制的ID。
重启服务。
DataNode已经出现了。