hadoop集群启动namenode成功，而datanode未启动！

最新推荐文章于 2024-06-30 16:43:18 发布
最新推荐文章于 2024-06-30 16:43:18 发布
阅读量5.5k 收藏 2
点赞数 5
分类专栏： Hadoop HADOOP学习之路 文章标签： hadoop hadoop集群 datanode namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangjjuan/article/details/56497516
版权

hadoop集群启动namenode成功，而datanode未启动！

最近集群格式化hdfs后，在主节点运行启动hdfs后，发现namenode启动了，而datanode没有启动，在其他节点上jps后没有datanode进程！度娘后，找到原因了。
原因是：当我们使用hdfs namenode -format格式化namenode时，会在namenode数据文件夹中保存一个current/VERSION文件，记录clusterID，而datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID，刚好有进行了一次格式化，在namenode的current/VERSION文件保存新的clusterID这样datanode和namenode之间的ID不一致。导致上述结果！
于是在找current/VERSION文件路径。
在namenode节点的路径是：/解压路径/hadoop-2.7.2/tmp/dfs/name/current/
在datanode节点的路径是：/解压路径/hadoop-2.7.2/tmp/dfs/data/current/
找到VERSION后打开查看，一对比，datanode的clustreID与其他3台datanode的clustreID真的不同！
将datanode的clustreID的值改成与datanode的clustreID相同后再启动，成功！

杨jun坚
关注
专栏目录
Hadoop集群namenode或者datanode进程没有启动
weixin_46253962的博客
07-17 315
1.先停止所有的进程 stop-all.sh 2.查看core-site.xml 3.切换到配置文件的路径 cd /usr/local/hadoop 删除logs文件夹以及清空tmp文件夹 rm -rf logs rm -rf tmp/* 这一步操作集群中的每台机器都需要进行 4.格式化namenode hdfs namenode -format 5.启动Hadoop集群 start-all.sh ...
datanode 未启动
小透明-溶冰
03-28 1227
/************************************************************                                       STARTUP_MSG: Starting DataNode                                                                     
hadoop启动集群后，没有datanode进程解决办法
ShengFangZaiXiaMo的博客
04-23 263
1、./stop-all.sh 或 ./stop-dfs.sh 要确保没有jps其它进程，如果有，kill -9 进程id。4、重新启动集群 ./start-all.sh 或 ./start-dfs.sh。3、重新格式化 hdfs namenode -format。5、查看是否有DataNode，jps。
Hadoop的namenode启动不起来
最新发布
Connie1451的博客
06-30 478
1、查看/data/namenode/current/VERSION中的clusterID和/data/namenode/current/VERSION中的clusterID是否一致,2、 重启服务，stop-dfs.sh ,start-dfs.sh。3、jsp查看服务状态，查看服务状态，启动成功就解决啦。如果不一致，改为一致。
HDFS数据节点DataNode未启动解决方法
weixin_30254435的博客
01-03 578
在解决这个问题的过程中，我又是积累了不少经验。。。 首先让我搞了很久的问题是，书上说进程全部启动的命令是/bin/start-all.sh，但是当我执行的时候显示command not found。后来才知道这个命令到了sbin文件中，应该是版本的原因。我装的是hadoop2.9。 所以正确的启动命令是：sbin/start-all.sh 但是当我执行完这个命令之后发现唯独Data...
hadoop datanode启动失败
weixin_34216196的博客
12-16 145
问题导读：1、Hadoop出现问题时，该如何入手查看问题？2、datanode无法启动，我们该怎么解决？3、如何动态加入DataNode或TaskTracker？ 一、问题描述当我多次格式化文件系统时，如 root@localhost:/usr/local/hadoop-1.0.2# bin/hadoop namenode -format   复制代码 会出现...
DataNode没 启动
埋葬青春
03-03 168
点击打开链接  右键链接新窗口打开
hadoop datanode未启动
飘过的春风
11-26 684
查看日志，报错 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/hadoop-1.2.1/hdfs/data: namenode  namespaceID = 697999702; datanode namespaceID
hadoop格式化namenode后导致datanode无法启动
阿尼古
04-01 1143
hadoop格式化namenode后导致datanode无法启动 首先贴报错哈，错误不一样，就不用往下看了。。。 报错截图 错误分析 Failed to add storage directory [DISK]file:/Users/zhangchenguang/software/hadoop-2.7.3/tmp/dfs/data/ java.io.IOException: Inco...
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3953
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
Hadoop集群启动没有Datanode
NullNullAgo的博客
01-12 8951
本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。 可能造成的原因：频繁的格式化namenode 环境：VMWARE+Centos7+Hadoop3.1.1 解决：进入到你hadoop安装目录里面的/data/dfs文件夹中 cd /opt/module/hadoop-3.1.1/data/dfs/ 这个有三个文件夹，分别是namenode，datanod
Hadoop三大组件NameNode、DataNode、SecondaryNamenode的介绍
奇迹虎虎的博客
03-03 5742
NameNode是什么？DataNode是什么？SecondaryNamenode是什么？
Hadoop | 解决启动Hadoop，jps后无namenode,datanode等进程
martinniee
01-11 1万+
问题描述 最近因为想修改一下主机名，用户名什么的 但是一开始没有注意到主机名和用户名对于Hadoop服务的影响 导致修改后，导致Hadoop启动，失败，即jps后，没有namenode,datanode，显然这两个文件对于hadoop是至关重要的，要不然无法获取数据 一开始没有考虑查看日志排错(因为对于异常处理方面不敏感:???? 因为机缘巧合，碰巧试了试，然后就行了 之所以出错，归根结底还是对于原理不熟 解决方案 首先要知道Linux下的主机名和用户名是什么，如何查看 命令行终端下 格式 : 用户名@主机
hadoop启动后发现namenode没有启动，但是排除了格式化过度的问题
qq_41037012的博客
03-03 350
hadoop启动后发现namenode没有启动，网上说的格式化过度的问题我是没有的，因为我只格式化过一次。之后查看日志 vim /opt/hadoop/logs/namenode对应的log文件 发现 2020-03-03 23:16:21,868 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics sy...
hadoop集群只有一个datanode启动问题
热门推荐
yijichangkong的专栏
05-02 1万+
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的V
hadoop报错：Hadoop启动时，没有启动datanode
five小点心的博客
02-06 5296
hadoop启动时没有DataNode节点
DataNode无法启动问题
vamosCheng的专栏
09-10 765
今天启动集群，发现部分节点出现在
Hadoop启动后发现datanode没有启动，data下没有current文件夹
qq_51330453的博客
03-22 1205
打开usr/hadoop/hdfs/name，发现里面有current文件夹，但usr/hadoop/hdfs/data下空空如也。期间并无报错，然后用start-dfs.sh再次启动Hadoop，也没有报错，但用jps一看，datanode还是没启动起来。把usr/hadoop/tmp整个文件夹删除，再把usr/hadoop/hdfs/name下的文件也全部删除，再次运行。我又想到是不是SSH的问题，我使用的是免密登录，检查一番之后发现也并无异常。意思是我的datanode根本没有生成日志。
datanode未启动错误记录
皮皮王的专栏
11-16 554
（1）当namenode节点format后，重新生成新的clusterid，但datanode的clusterid没有变，导致不一致，启动不了。 解决：根据错误日志给出的路径，修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动，即可成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值