hadoop显示只有一个datanode节点启动

最新推荐文章于 2023-11-22 10:58:56 发布
最新推荐文章于 2023-11-22 10:58:56 发布
阅读量2.7k 收藏 12
点赞数 6
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45430750/article/details/111946342
版权

问题描述：Hadoop集群启动正常，所有节点正常启动，WebUI 界面正常展示，但是Web界面上只显示一个datanode节点在LIve Nodes

在这里插入图片描述

查看配置文件全部没问题，集群三台主机节点正常，数据节点只显示一台，说明集群将三个数据节点识别为一个，那么datanode节点VERSION是一致的

集群设置的临时数据位置在  /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 

发现storageID和datanodeUuid是一致的，所以修改storageID、datanodeUuid

在这里插入图片描述

最后重启集群，成功解决

在这里插入图片描述

想念是会呼吸的鱼
关注
  • 6
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
m0_58028961的博客
02-17 3855
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
HDFS集群正常启动，但Web页面仅有一个DataNode 主节点的问题
weixin_42227283的博客
11-27 8165
问题描述 三台虚拟机（分别是hadoop02，hadoop03，hadoop04）集群所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...
hadoop显示只有一个datanode启动
u013077314的博客
12-14 5142
1.datanode无法启动： DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致，datanode无法启动   解决方法：将NameNode的clusterID复制到DataNode，顺便检查下各个storageID、datanodeUuid是不是不一样的（如果一样需要修改）...
hadoop集群启动时活动节点只启动了一个
weixin_53063015的博客
02-10 3587
hadoop集群启动时活动节点只启动了一个 今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来，想到昨天都能启动，怎么突然就启动不起来了，看了很多这个博客都是说这个防火墙没有关闭，跑去查看这个防火墙，是关闭状态啊，又去格式化namenode发现都不行，回去翻看配置文件才发现这个core-site.xml文件的配置不见了，是克隆的前一台虚拟机，前面都有配置后面不知道为什么突然就没了，配置完成后启动hdfs查看这个web页面发现只有一个活动节点（这个节点时不时还会变化），看这些进程已经启
【Hadoop】图形化界面只有1个DataNode
12-06 1971
集群启动后，DataNode，NameNode、SecondaryNameNode都正常启动。但是在图形化界面上看只有一个DataNode。 尝试了删除VERSION、重新格式化NameNode后，都不行。 用hdfs dfsadmin -report命令查看DataNode节点信息，竟然报连接不上的错误 有点疑惑，之前确认过是可以ping通的，再次ping hostname，是通的： 又ping IP，果然是不通的，考虑还是云服务器的安全策略问题，开放9820端口： 重启hd...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
weixin_43520450的博客
10-14 8643
hadoop集群通过wab管理界面只显示一个节点，datanode只启动一个 引起该问题最常见的原因，及其解决办法 使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VERSION clusterID不一致了，把全部集群节点的ID号都改为一样的即可。 下图是更改c...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
hadoop2.0 2个namenode 2个datanode 部署
01-16
如果一个 Namenode 或 Datanode 节点出现故障，另一个节点可以继续提供服务，确保数据的可用性和一致性。 分布式文件系统 Hadoop 的分布式文件系统（HDFS）提供了高可用性和高性能的文件存储解决方案。它可以 ...
hadoop动态增加和删除节点方法介绍
09-30
在Hadoop集群中增加新的DataNode节点，可以提高集群的数据存储和处理能力。以下是增加DataNode的步骤： 1. **准备新节点**：首先，确保新节点的操作系统与集群中的其他节点一致，例如CentOS 6.7 x64。安装相同版本...
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
热门推荐
愤怒的苹果ext的博客
11-01 1万+
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。
Hadoop完全分布式 小bug -no.1 为啥我的集群只显示一个datanode！
i_m_jack的博客
06-26 2721
问题如标题，先说一下我的搭建步骤1.在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件2.确保tmp文件清空的情况下，格式化namenode3.将配置好的Hadoop软件包分发给另外两个克隆机4.用start-dfs.sh命令启动集群。用jps命令确认所需进程是否启动.访问主节点主机Ip：50070网站，把网页tab切换至datanodes，...
关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
最新发布
m0_53353946的博客
11-22 592
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个。问题解决！！！
hadoop集群datanode界面只显示一个
Y0730Y的博客
11-26 1633
因为slave机的配置文件是直接从master机里复制过去的，所以VERSION文件里的内容都一样 不同机器的clusterID都一样。 解决方法： 把slave机里的VERSION删掉，重启
Hadoop 克隆虚拟机后Datanodes只能显示一个的问题
yyj135的专栏
04-11 1206
环境： VMWare 15.0 3台虚拟机Centos 7 Hadoop 2.4.1 从spark2克隆一台虚拟机，然后改名为spark4后做了以下步骤： 1. 更改主机名 vi /etc/hostname 2.修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 （后面这个数字每台机器可能不一样） 修改内容： IPADD...
hadoop集群搭建踩坑记录
noob9527的博客
01-19 707
hadoop集群搭建并启动成功后，打开namenode可视化界面失败 首先怀疑hadoop是否启动成功，jps查看 查看hadoop进程都有，namenode上使用curl命令测试端口是否工作，发现是正常的 netstat -ntlp查看端口9870也正常 在数据节点上使用curl命令测试端口，发现连接拒绝，但网络是通的 在namenode上使用firewall-cmd --list-ports查看哪些端口加了白名单，发现9870不在白名单中 把9870端口加入白名单
20131010配置hadoop集群遇到namespaceID、storage ID、防火墙的问题
godspeedlaile9的专栏
10-10 2820
1.  namenode和datanode的namespaceID不一致 java.io.IOException:Incompatible namespaceIDs in /root/tmp/dfs/data:namenode namespacesID=335454;datanode namespaceID=131321.... 这个问题是多次格式化namenode造成的，有两种方法可以解决；
hadoop集群配置时hosts配置导致的错误（datanode节点只显示一个）
beArrow的博客
04-14 841
查看datanode节点正确的显示应该是下图： 而修改hosts之前一直显示的是下图: 仔细观察红框里的地址，发现输出有误，立即就想到了hosts文件可能配置有误，于是打开，果不其然： 下面多了3、4行，原本那两行是为了修改主机名，结果写错了位置，应该替换第三列。把3、4行删掉，然后重启sbin/start-dfs.sh 、sbin/start-yarn.sh,成功。 上面谈到了修改主机名： 这...
Hadoop集群启动后,在web:50070端口只有一个datanode节点
qq_42321843的博客
03-10 2780
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。 解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...
hadoop没有datanode节点
03-16
如果Hadoop没有Datanode节点，那么可能是以下原因之一： 1. 没有正确配置Hadoop集群：在配置Hadoop集群时，必须确保所有节点都正确配置，并且Datanode节点已经启动。 2. Datanode节点出现故障：如果Datanode节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值