解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题

最新推荐文章于 2021-12-23 11:09:56 发布
最新推荐文章于 2021-12-23 11:09:56 发布
阅读量5.7k 收藏 23
点赞数 4
分类专栏： 大数据 文章标签： hadoop datanode 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39207647/article/details/100085173
版权

解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题

用jps查看此时datanode已经启动

[root@hadoop02 name]# jps
12858 DataNode
12987 NodeManager
13196 Jps

此时进入x.x.x.x:50070查看节点情况，只有01和03启动，02没有启动，但是用jps查看02上的datanode已经启动，这是为什么呢
在这里插入图片描述
这是因为克隆完在格式化namenode之后,没有去删除主从节点上面的用于保存数据的文件夹(即dfs.name.dir配置的路径下的文件),导致内部namenode存在的关于文件系统的元信息和数据节点对应不上造成的.

最低0.47元/天 解锁文章
Yiie
关注
  • 4
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop集群DataNode成功启动，但网页没有显示
qq_48770086的博客
12-03 834
Hadoop集群DataNode成功启动，但网页没有显示 修改虚拟机的datanodeUuid即可，保证集群的每台机器不一样（随便修改即可，我改的是最后一个数字） clusterID一样是没有问题的，因为是一个集群的
HDFS集群正常启动，但Web页面仅有一个DataNode 主节点的问题
weixin_42227283的博客
11-27 7940
问题描述 三台虚拟机（分别是hadoop02，hadoop03，hadoop04）集群所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...
彷徨 | [Hadoop异常处理] Namenode和Datanode都正常启动,但是web页面不显示
彷徨的博客
07-24 7316
异常 namenode和data都正常启动 但是web页面却不显示,都为零 解决办法一: 在hdfs-site.xml配置文件中,加入 <property>  <name>dfs.namenode.datanode.registration.ip-hostname-check</name>  <value>false<...
HDFS集群启动后，DataNode节点没有挂载上
wufabao的博客
11-19 2186
排错过程 安装Impala后，删除掉Impala依赖的Hadoop、Hive等框架后，还是启动自己之前部署的Hadoop、Hive，没有报错，但是通过WEb界面查看，发现集群处于安全模式，然后所有的DataNode节点都没有挂载上（这时候没有注意到DataNode节点没有挂载上）。。。 Security is off. Safe mode is ON. The reported blocks 0 needs additional 539 blocks to reach the threshold 0.999
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
在本教程中，我们将深入探讨如何在腾讯云上搭建Hadoop 3.x的伪集群。首先，我们需要确保我们的系统环境是CentOS Linux release 7.5.1804 (Core)。伪集群允许我们在单个节点上模拟多节点集群的行为，这对于开发和测试...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更...
Hadoop2.x安装共25页.pdf.zip
11-21
Hadoop2.x安装共25页.pdf.zip
Hadoop3x平台搭建和常用命令.md
11-01
Hadoop平台的搭建和常用指令3.x
hadoop2.7.x_winutils_exe&&hadoop_dll
06-01
hadoop2.7.x_winutils_exe&&hadoop_dll
解决启动hadoop后jps没有从节点没有DataNode问题
qq_46085912的博客
12-23 3865
进入hadoop安装目录找到core-site.xml（/usr/local/soft/hadoop-3.2.0/etc/hadoop/）并查看 找到： <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> </property> 去到 /data/hadoop/目录下进入/data/hadoop/hdfs/
解决 hadoop 在网页上查看 livenodes 为 0 但是使用 jps查看却存在 datanode
.
12-04 1535
笔者用三台虚拟机模拟全分布环境，start-dfs.sh 启动 HDFS 之后，在三台机器上执行 jps 命令分别看到了如下信息： NameNode，SecondaryNameNode DataNode DataNode 主节点 NameNode，两个从节点 DataNode 均显示正常，但是通过 50070 端口在网页上查看 NameNode 的信息时，却发现 live nodes 数量为0...
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3732
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
在Hadoop集群搭建搭建时，从属虚拟机slave01和slave02jps查看进程时，没有datanode的解决办法
xh_1187466027的博客
09-11 4816
刚开始一直没找出原因，原来是格式化语句 ：hdfs namenode -format执行了多次生成了一个current文件，去把每台虚拟机上的current文件删除了就可以了。 1、先根据图中的途径找到current文件； 2、然后再将它删除； 3、按照同样的方法切换到另外两台虚拟机将current文件删除。再去slave01和slave02上执行jps即可看到DataNode； ...
hadoop jps命令启动后无法显示datanode
ddddandandan的博客
10-09 1173
hadoop jps命令启动后无法显示datanode 问题原因：多次运行hadoop namenode -format命令 解决方案 将namenode的clusterID复制给datanode的clusterID，使其一致。 1、查看路径 查看hdfs-site.xml文件中dfs.datanode.data.dir和dfs.namenode.name.dir中的value值 2、将namenode的clusterID复制下来 执行cd命令 例如我这里：cd /hadoop/tmp/dfs/name
hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结
skyanddream的博客
04-29 4042
Hadoop完全分布式出现DataNode为0的解决方案 问题：在配置好Hadoop后，jps命令下看见Hadoop服务已经启动,namenode和datanode都已经启动，但进入Hadoop界面还是没有DataNode。 问题截图 解决方案 1.可能是主机IP地址映射错误 netstat 查看端口9000是否被监听，如果没有进入 vi /etc/hosts 查看是否主机名和IP地址之间...
使用云服务器搭建hadoop完全分布式启动成功但是通过50070看不到主节点以外的datanode，解决方案
TalesOV的博客
03-12 1618
salve节点ID一致导致 datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID，每个节点的必须不同。而对于云服务器远程连接，主机名也不能一样如hadoop@ubuntu,hadoop@ubuntu改为hadoop@master,hadoop@node1。 防火墙端口导致 记住，如果要想远程连接云服务器的hadoop环境，9000端口不打开...
linux虚拟机开启HDFS分布式集群成功，但是网页可视化界面连接不到datanode怎么解决？？？
weixin_39971163的博客
08-02 1252
linux虚拟机开启HDFS分布式集群成功，namenode和datanode能够正常运行开启 但是网页可视化界面：http://192.168.66.100:50070/dfshealth.html#tab-overview连接不到datanode， 解决方案是： 在hdfs-site.sh里面加  dfs.namenode.datanode.registration.ip-host...
Hadoop集群启动后,在web:50070端口只有一个datanode节点
qq_42321843的博客
03-10 2744
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。 解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...
（1） 启动Hadoop2.X的HDFS和Yarn集群
最新发布
06-11
好的，我可以为您提供一些关于启动Hadoop2.X的HDFS和Yarn集群的指导。 首先，您需要确保已经安装了Hadoop2.X，并且已经进行了必要的配置。接下来，您可以按照以下步骤启动HDFS和Yarn集群： 1. 启动HDFS集群：运行以下命令来启动HDFS集群： ``` $HADOOP_HOME/sbin/start-dfs.sh ``` 这将启动NameNode和DataNode进程。 2. 启动Yarn集群：运行以下命令来启动Yarn集群： ``` $HADOOP_HOME/sbin/start-yarn.sh ``` 这将启动ResourceManager和NodeManager进程。 3. 检查集群状态：您可以运行以下命令来检查集群状态： ``` $HADOOP_HOME/bin/hadoop dfsadmin -report ``` 这将显示HDFS集群的状态。 ``` $HADOOP_HOME/bin/yarn node -list ``` 这将显示Yarn集群中所有的NodeManager节点。 这样，您就可以启动Hadoop2.X的HDFS和Yarn集群了。希望这能对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值