Hadoop启动后在进程中没有Datanode的解决方法

最新推荐文章于 2024-09-30 00:15:51 发布
最新推荐文章于 2024-09-30 00:15:51 发布
阅读量1.6k 收藏 9
点赞数 1
分类专栏： java 文章标签： 搜索引擎 运维 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401499/article/details/126368265
版权

问题简述

  • 多次初始化会导致Data中的clusterID与name中的clusterID不一致

解决方法

  • 第一步：vi etc/hadoop/hdfs-site.xml //查看hdfs-site.xml文件，找到namenode与datanode的所属路径

  • 第二步：vi /opt/hadoop/data/namenode/current/VERSION //打开namenode路径下的current/VERSION文件，复制其中的clusterID

  • 第三步：vi /opt/hadoop/data/datanode/current/VERSION //打开datanode路径下的current/VERSION文件，将复制的clusterID替换其中的clusterID值

  • 第四步：重启服务即可(多台服务器集群需要同样配置clusterID全部保持一致)

m0_67401499
关注
专栏目录
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 9267
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
启动Hadoop后 jps 没有出现DataNode进程 的解决方法
KingSuccesHou的博客
02-26 8898
一、出现问题的原因 在启动Hadoop之前，进行了多次的格式化，导致DataNode的ID发生了变化。 二、问题解决方法 我们可以让NameNode的clusterID与DataNode的clusterID一致，这样就可以解决这个问题了。 1.首先去到你的hadoop目录下 2.在进入到 hadoop-2.8.1/tmp目录下 3.在进入到dfs中 ls 4.在进入到目录name中ls 5.在进入到current中ls 6.使用命令（vi或vim）打开VERSI..
解决Hadoop启动时，没有启动datanode
热门推荐
Islotus
10-26 4万+
原文链接: http://www.nekomiao.me/2016/08/10/hadoop-without-datanode/ Hadoop在多次运行下列指令： hadoop namenode -formatsbin/start-dfs.sh 经常会出现没有启动datanode的情况。 运行命令: jps
hadoop启动后无datanode节点，log中datanode显示为privileged-root-datanode-master.out
最新发布
weixin_38383877的博客
09-30 216
解决方案：将hadoop-env.sh中的export HDFS_DATANODE_SECURE_USER=root这行删除。然后关闭集群，删除缓冲，重新格式化+开启集群即可。
启动hadoop后没有datanodes的问题
十万小时之旅
04-13 658
ubuntu10.10每次开机后会在/etc/hosts自动生成一行代码：127.0.0.1 localhost localhost.local，而ubuntu10.04版本则不会。在hadoop中，由于127.0.0.1与主机绑定，导致datanode一直试图链接namenode而连接不上，只要开机后把/etc/hosts 下的127.0.0.1 localhost localhost.loca...
启动 Hadoop 后没有 dataNode 进程
是微风，是晚霞，是无可替代
11-22 3617
原因：进行 hadoop 格式化的时候没有事先结束所有进程，或者多次进行了 format 导致的 datanode 的 clusterID 和 namenode 的 clusterID 不匹配，从而在启动后没有 datanode 进程。
启动hadoop集群没有datanode节点
qq_58538016的博客
04-05 1万+
使用start-dfs.sh启动hdfs后只有namenode，没有datanode。 原因：配置集群式进行了多次格式化，导致两者的id不一致，所以启动namenode是没有启动datanode。 解决办法：可以在VMware李自己找，但在xftp里面寻找更为简便。 1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。 2：进入name，在current里有一个version的文件，记事本打开，复制id， 3：再进入到data下的current的ve.
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程
martinniee
01-11 1万+
问题描述 最近因为想修改一下主机名，用户名什么的 但是一开始没有注意到主机名和用户名对于Hadoop服务的影响 导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了 之所以出错，归根结底还是对于原理不熟 解决方案 首先要知道Linux下的主机名和用户名是什么，如何查看 命令行终端下 格式 : 用户名@主机
当hadoop集群安装完毕后，发现没有DataNode进程
m0_65346688的博客
09-20 2892
那么，为什么会出现这个问题呐？在这个目录下输入ls，然后进入到data，再输入ls，进入到data，输入ls，进入到dfs中（有的进入data中后，是tmp，那就输入ls，进入到dfs中），输入ls，进入到data，输入ls，进入到current中，输入ls，发现了VISION,然后就可以vi VERSION了。查看这两个的clusterID是否一致，如果不一致，那我们就讲他们改为一样的就好了，修改后，保存退出（因为我的已经改好过了，所以一致），再重新启动一下集群，输入jps，发现就有DataNode。
Hadoop | 解决启动Hadoop集群，DataNode不存在的问题
martinniee
01-10 4436
问题描述 1.使用 ./sbin/start-all.sh启动Hadoop集群，过程中DataNode没有启动 2.使用jps查看进程时，没有DataNode节点 在此需注意Hadoop集群是如何搭建的 本实验是使用(伪分布式) 1.Master节点 其他节点在Master节点中 2.Slave节点 DataNode在Slave节点中 可用方案 网上可用方案，及其原因分析是 原因1 多次格式化nameNode节点 (hadoop namenode -format),是NameNode和DataNod
Hadoop集群启动时没有Datanode
evangelion_Asuka的博客
10-12 2951
在启动集群后，使用jsp命令验证集群是否配置成功时，发现Datanode没有被启动，第一反应是关闭后使用。回到dfs文件夹，进入到data文件夹中的current文件夹，使用cat查看VERSION文件。我们应将DataNode的clusterID改成NameNode的clusterID。start-all.sh命令再次启动，依旧没有，于是检查配置文件依旧没发现问题。先进入name文件夹，然后使用cat查看VERSION文件。将这里面的也复制下来与name文件夹中的对比。将两个ID进行对比发现确实不一样。
hadoop启动后没有datanode的可能问题解决
weixin_56023591的博客
07-28 674
2.在hadoopdata文件（配置文件时设置的路径）里的data和name文件里的VERSION的clusterID要一致。1.更改~/.bash_profile或者profile文件后没进行source导致路径没有改变。
hadoop启动后，没有datanode怎么办
qq_34268459的博客
06-21 6845
根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行格式化，重启集群，错误消失。方法二： 将name/current下的VERSION中的clusterI...
Hadoop启动时，没有启动DataNode
皮埃尔的博客
05-08 5792
Hadoop启动时，没有启动DataNode1、起缘2、原因3、解决办法3.1 删除 dfs 文件夹（dfs文件夹中没有重要的数据）3.2 复制 clusterID（dfs文件夹中有着重要的数据）4、总结 1、起缘 有时候Hadoop没关闭就格式化NameNode，经常会出现没有启动 DataNode 的情况 2、原因 当我们使用 hadoop namenode -format 格式化 NameNode 时，会在 NameNode 数据文件夹（这个文件夹为自己配置文件中 dfs.name.dir 的路径）
hadoop报错：Hadoop启动时，没有启动datanode
five小点心的博客
02-06 5352
hadoop启动时没有DataNode节点
hadoop启动时没有datanode
a18729562128的博客
12-28 1185
jps 没有datanode，我之前有用过hadoop，已经nameformat初始化生成了datanode，所以只需要找到原来的datanode文件所在地，删除掉 sudo rm -rf sudo rm -rf /usr/local/hadoop/tmp/dfs/data 先把启动了的节点全都关了 ./sbin/stop-dfs.sh 再运行 hadoop namenode -format ./sbin/start-dfs.sh 最后结果 就会出现datanode了 ...
启动Hadoop，没有DataNode节点
qq_45736175的博客
06-28 6030
1.其他节点，如namenode都成功启动了，就是DataNode没有启动 原因是NameNode和DataNode的ID不一致导致的，因为我有一个坏习惯，就是每次关闭虚拟机时，都没有使用./sbin/stop-all.sh关闭Hadoop，而是直接关闭虚拟机了。 2.解决方法，找到name/current/目录下的VERSION文件，复制其clusterID 然后粘贴到data/current/VERSION文件中的clusterID 另一种知道NameNode的cluster..
Hadoop启动失败：DataNode进程缺失快速解决指南
通过以上步骤，可以系统地排查并解决Hadoop启动后DataNode进程不启动的问题。确保Hadoop集群的稳定运行对于处理大规模数据集至关重要，掌握这些知识点能够帮助用户快速定位并解决运行中的故障。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值