查看DataNode端口没有被其他进程占用,但是依旧用jps查看不了DataNode,此时打开hadoop,访问http://localhost:50070,点击页面中的Namenode logs链接,在logs页面点击hadoop-hadoop-datanode-ubuntu.log 链接,发现日志里面有如下错误:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
这导致了datanode启动不了。而且从本地文件中上传到DFS文件系统中,文件内容为空!!!
原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。
hadoop namenode -format
清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录(我这里的目录是在hdfs-site.xml里配置的),清空后运行
root@ubuntu:/opt/hadoop-0.20.2/bin# hadoop namenode -format
15/07/20 00:25:42 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNo
【hadoop】DataNode用jps查看无法启动解决办法
最新推荐文章于 2021-10-12 16:45:07 发布