关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
hadoop集群通过web管理界面只显示一个节点,datanode只启动一个
状态问题:
1、Hadoop集群启动后,使用jps查看进程均没问题,但是在Web50070端口上只显示了一个datanode。
2、集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,但是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100%
状态自查:
z1、先查看,/opt/module/hadoop/data/dfs/data/current/version.这个文件夹是各个节点上面的data(可能与我设置的路径和文件不同,对应你自己在hdfs-site.xml中设置的dfs.name.dir路径)。我默认是没配置的,就是hadoop下的data目录。
z2、查看/etc/hosts文件的映射是否正确。
问题解决:
z1、首先给你的虚拟机做备份,正常集群把数据保存,需要格式化!!!。删除你的dfs.name.dir 对应的目录,我的是/opt/module/hadoop/data。同时删除/opt/module/hadoop/logs。我的是三台机器,全部都进行这个操作!!!。最后在你的主节点机器进行,hdfs namenode -format 。
z2、这个就简单了,只需要对应你的ip和主机名就好。