hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结

Hadoop完全分布式出现DataNode为0的解决方案

问题:在配置好Hadoop后,jps命令下看见Hadoop服务已经启动,namenode和datanode都已经启动,但进入Hadoop界面还是没有DataNode。

问题截图

在这里插入图片描述

解决方案

1.可能是主机IP地址映射错误


netstat

查看端口9000是否被监听,如果没有进入

vi /etc/hosts

查看是否主机名和IP地址之间的映射错误

Alt
像本图中的127.0.0.1 后面的主机名就不能加Hadoop01,这样和下面的192产生冲突,系统无法分辨,自然无法监听到Hadoop02 和Hadoop03,导致DataNode节点为0。
删除后,发现管理界面出现DataNode,表示问题解决。

2.多次格式化namenode导致系统namenode和DataNode的cluster ID不匹配

首先关闭Hadoop

stop-dfs.sh

分别进入master主机和从机Hadoop安装目录下,找到tmp文件夹下的dfs/name/current/VERSION 和dfs/data/current/VERSION.
校准clusterID,一切以namenode下的name cluster为准。

3.主机防火墙未关闭

关闭防火墙即可

sudo ufw diabale

以上是我在安装Hadoop过程中遇到的一些问题,我总结在这里,希望可以帮到其他人,如果还有其他问题,后期我会一直跟新,谢谢!

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
Hadoop是一个分布式计算框架,用于处理大规模数据集。启动Hadoop集群并查看是否成功通常会显示一些系统信息和日志输出,这些信息可能包括Hadoop守护进程(如NameNode, DataNode, JobTracker或ResourceManager)的状态、正在运行的任务以及任何相关的错误消息。 如果Hadoop成功启动,你应该能看到类似这样的信息: - NameNode会在控制台打印出欢迎消息,确认它已启动,并监听特定端口(默认是8020)。 - DataNodes会报告它们已经加入到集群,并且开始复制文件块。 - ResourceManager会在YARN环境中显示资源状态和任务管理信息。 - JobHistoryServer将记录作业历史。 屏幕截图通常会包含以下几个部分: 1. **Master Node UI**: Namenode或ResourceManager的Web界面,显示目录树、可用空间、作业队列等。 2. **Task Tracker或Worker Node Logs**: 显示DataNode的日志,确认它们能正常读写数据。 3. **Console Output**: 命令行提示符中的输出,可能有绿色的“STARTED”标记表示服务已启动。 如果你想要截图,这通常是管理员权限操作,可能涉及到SSH连接到节点并截取终端输出,或者从Hadoop WebUI直接获取截图。如果你没有实际环境可供截图,我可以提供文字描述来帮助理解启动过程。 相关问题-- 1. 如何检查Hadoop的日志文件以确定启动是否成功? 2. Hadoop启动过程中,哪些错误信息可能表明启动失败? 3. 如何访问Hadoop的Web用户界面来监控集群状态?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

站在风口的朱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值