关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。

关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
hadoop集群通过web管理界面只显示一个节点,datanode只启动一个
状态问题:
1、Hadoop集群启动后,使用jps查看进程均没问题,但是在Web50070端口上只显示了一个datanode。
2、集群中都遇到过这样的问题:在namenode正常启动hadoop集群后,查看datanode是正常的显示存在进程,但是在web界面中查看的时候,发现数据节点全部属于宕机,或者就是干脆直接没有datanode.还有种情况,datanode启动后,jps查看是在的,但是一会再去查看,发现挂掉了.还有就是,存储空间显示占用100%
状态自查:
z1、先查看,/opt/module/hadoop/data/dfs/data/current/version.这个文件夹是各个节点上面的data(可能与我设置的路径和文件不同,对应你自己在hdfs-site.xml中设置的dfs.name.dir路径)。我默认是没配置的,就是hadoop下的data目录。
z2、查看/etc/hosts文件的映射是否正确。

问题解决:
z1、首先给你的虚拟机做备份,正常集群把数据保存,需要格式化!!!。删除你的dfs.name.dir 对应的目录,我的是/opt/module/hadoop/data。同时删除/opt/module/hadoop/logs。我的是三台机器,全部都进行这个操作!!!。最后在你的主节点机器进行,hdfs namenode -format 。
z2、这个就简单了,只需要对应你的ip和主机名就好。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值