hadoop集群的其他集群没有namenode和datanode进程？

最新推荐文章于 2022-11-26 14:05:08 发布
最新推荐文章于 2022-11-26 14:05:08 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop 其他 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46573136/article/details/121754067
版权
在启动Hadoop121集群后，发现其他两个集群缺少DataNode进程。检查发现不同集群的DataNode和NameNode的clusterID不一致。通过调整其他集群的clusterID与Hadoop121匹配，然后重启HDFS服务，问题得以解决。
摘要由CSDN通过智能技术生成

启动hadoop121，发现另外两个集群都没有DataNode进程

查看VERSION

cat ./datas/namenode/namenodedatas/current/VERSION

cat ./datas/datanode/datanodeDatas/current/VERSION

发现hadoop123和hadoop121的datanode和NameNode中的clusterID不一样

将其他两个依照hadoop121的修改，使其一致

然后再重新启动hdfs

stop-all.sh
start-all.sh
jps

最后

 

 

 

weixin_46573136
关注
专栏目录
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3948
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
hadoop2.0 2个namenode 2个datanode 部署
01-16
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
hadoop配置集群子节少了进程
墨渊的博客
10-09 449
经常会有这样的事情发生：在主节点上start-all.sh后，子节点有TaskTracker进程，而没有DataNode进程。 环境：1个NameNode 2个DataNode三台机器，Hadoop为1.2.1 解决办法： 1.先停止Hadoop，bin/stop-all.sh 2.三台机器都把hadoop1.2.1/tmp下所有文件删除，rm -rf tmp/* 3.重新格式化DFS bin/hadoop namenode -format 4.再重启bin/start-all.sh 5.查看各节点j
Hadoop集群启动但是没有datanode/namenode的情况
最新发布
学习笔记
11-26 8095
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群，一开始是主节点没启动起来，因为配置文件看走眼，配错了，然后又重新初始化了一次，然后可能因为重复初始化，导致datanode又没了，然后一直在尝试，一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说的总结起来有三点：1.配置文件出错了2.ssh免密没做好3.重复初始化这三个问题应该在之前不断循环往复的出现…直到这周终于把集群启动起来并且能够正常工作了。
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3921
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
Hadoop集群namenode或者datanode进程没有启动
weixin_46253962的博客
07-17 313
1.先停止所有的进程 stop-all.sh 2.查看core-site.xml 3.切换到配置文件的路径 cd /usr/local/hadoop 删除logs文件夹以及清空tmp文件夹 rm -rf logs rm -rf tmp/* 这一步操作集群中的每台机器都需要进行 4.格式化namenode hdfs namenode -format 5.启动Hadoop集群 start-all.sh ...
Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程
martinniee
01-11 1万+
问题描述 最近因为想修改一下主机名，用户名什么的 但是一开始没有注意到主机名和用户名对于Hadoop服务的影响 导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了 之所以出错，归根结底还是对于原理不熟 解决方案 首先要知道Linux下的主机名和用户名是什么，如何查看 命令行终端下 格式 : 用户名@主机
Hadoop没有namenode/datanode进程
weixin_43411977的博客
09-18 2744
问题描述 前几天新增了两个节点，一直都没问题，今天突然出了问题。 刚开始是两个新增的节点上没有datanode进程，nodemanager还有。 重启集群后，成了所有的节点（包括master）都没有datanode。 之后把hadoop下的hdfs文件夹删除重建，所有的节点上都有了datanode，但是master没了namenode。 先后尝试的方法有： 1.单纯格式化namenode。对我的情...
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
奇迹虎虎的博客
03-03 5740
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
Hadoop start-dfs.sh启动后jps没显示进程，已解决！！！
NIE_WIN的博客
10-13 1万+
困扰我很多天的start-dfs.sh启动但jps进程不显示问题已经解决！！！快来看看吧！
启动 Hadoop 后没有 dataNode 进程
是微风，是晚霞，是无可替代
11-22 3426
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3846
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode
热门推荐
午夜的行人
04-18 3万+
引言 最近在尝试在搭建Hadoop集群并测试集群是否搭建成功，但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了，二者没有同时存在，也尝试过停止进程再重新启动都没有解决掉该问题。 相关命令 集群第一次启动，格式化NameNode bin/hdfs namenode -format 启动HDFS sbin/start-dfs.sh 停止HDFS sbin/stop-dfs.sh 启动YARN sbin/start-yarn.sh
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8927
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop启动后jps查询后没有namedata，datanode进程
whs0329的博客
10-31 1万+
我的namedata进程突然之间没有的原因：是因为我之前没有停止hadoopd的集群又重新启动hadoopde集群 还有其他原因也会导致比如：1.直接关闭虚拟机，也没有停止hadoop 集群 2.格式化namenode之前，没有删除data里面的数据和日志，导致 namenode和datanode的cl...
Hadoop集群缺少进程初步解决方案
Quin22的博客
12-23 4349
没有类似截图，口头说的详细点 按我这方法应该能解决大部分问题，如果还不得我也无能为力 这个方法就是把hadoop重置到格式化之前 因为你没格式化之前，上面三项都是不存在的，你格式化后才会出现 通常守护进程缺失或者自己死亡就是因为你格式化次数太多，导致出错，用这个方法可以把hadoop重置到格式化之前 hadoop配置文件中 core-site.xml有一项配置是这么写的 这里配置是为了指定hadoop的临时文件夹 <property> <name&
hadoop没有NameNode||DataNode
weixin_46119343的博客
12-24 4544
1.没有NameNode 解决方法： 删除hadoop目录下的“data” 和 “logs” 删除后，重新格式化，重新格式化成功后再启动集群，NameNode就有了。 2.没有DataNode 解决方法： 删除hadoop目录下的“data” 和 “logs” 删除后，重新启动集群，DataNode就有了。 ...
启动hadoop集群没有datanode节点
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值