如何解决搭hadoop集群时datanode数据节点未启动或死节点的问题(爬坑中...)

在搭建Hadoop集群时,遇到datanode未启动和死节点问题。原因包括datanode的clusterID与namenode不一致、多次格式化导致的不匹配。解决方案包括修改datanode的VERSION文件、删除并重新格式化相关目录,或者完全卸载重装。对于死节点,可以通过重启datanode和tasktracker,或删除data目录来解决。
摘要由CSDN通过智能技术生成

1.datanode未启动:

出现的问题:
在这里插入图片描述可以发现,当执行stop-all.sh命令关闭hadoop服务的时候,系统会报找不到datanode去关闭的错误。。因而当我们去浏览器访问“http://主机IP地址: 50070”的时候,Dead Nodes这一栏会显示所有的节点都是死节点…
在这里插入图片描述问题分析:
1:之前多次将namenode格式化,导致namenode和datanode的clusterID(集群ID)不一致无法启动datanode;因而jps命令发现没有datanode启动,所以去Hadoop的日志文件下查看日志,从日志文件中我们捕捉到Incompatible这个单词,即“不相容的”,所以我们可以看出是datanode的clusterID出错了,最后导致shutDown。
2.多次格式化NameNode会重新生成新的ClusterId(集群ID),而原来的DataNode内data文件下的VERSION文件内的ClusterId还是原来的ClusterId,所以就会出现与NameNode的ClusterId不匹配。
3:可能把datanode的data目录下的VESSION删除,导致在java连接是输入流时只能启动一个datanode。

(注意:此处是大坑),在此,提出两种解决方案:

方案一:
首先在虚拟机下对应的haoop目录下查看etc/hadoop/hdfs-site.xml文件下我们设置的自定义的datanode的路径,

在这里插入图片描述
然后根据设置的路径,通过xftp软件进入进入datanode的dfs.datanode.data.dir的current目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值