Hadoop启动datanode结点All specified directories are failed to load报错解决方案

最新推荐文章于 2023-10-22 18:08:44 发布
最新推荐文章于 2023-10-22 18:08:44 发布
阅读量890 收藏 7
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41521180/article/details/90299968
版权

前言

因重启阿里云服务器，需要重新启动格式化namenode，重新启动结点后发现，datanode没有启动成功，反复几次后还是不行，最后查看日志文件发现报All specified directories are failed to load错误。在网上查了好一会，原因在于每次格式化时，namenode的clusterID会改变，而datanode的clusterID不会改变，造成namenode和datanode的clusterID不一致。以下是解决过程

解决过程

2019-05-16 17:57:28,144 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-6dbccc7d-1bc2-43e4-a564-f72664b2d532; datanode clusterID = CID-5d721c74-9d56-4504-a08b-0d2e10b925c3
2019-05-16 17:57:28,144 FATAL org.apache.hadoop.hdfs.server.<
最低0.47元/天 解锁文章
喧嚣_
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop报错：All specified directories are failed to load.
maplecsd的博客
09-23 750
Hadoop报错：All specified directories are failed to load. 先将所有的Hadoop进程停掉，然后清空将所有节点的Hadoop的安装目录下的data目录和logs目录，再重新启动就可以了。
All specified directories are failed to load.(一)解决办法就是重新安装
java技术专家全栈成长之路
02-24 812
2019-07-19 05:40:54,230 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting DataNode STARTUP_MSG: ...
Hadoop报错之---java.io.IOException: All specified directories are failed to load
纯果乐的博客
10-19 246
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to XXXXXX:9000. Exiting. java.io.IOException: All specified directories are failed to load.
java.io.IOException: All specified directories are failed to load
LzwGlory的专栏
12-22 6779
2015-09-02 01:17:37,962 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/data1: namenode clusterID = CID-c7970b3b-e127-4054-ba7b-773
【解决办法】Hadoop2.6.4 datanode 无法启动，错误：All specified directories are failed to load.
Chail
10-12 1万+
在部署hadoop2.6.4 集群的时候碰到下面的错误 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to master/192.168.200.199:9000. Exi
java.io.IOException: All specified directories have failed to load.
一杯派蒙的博客
06-22 1732
java.io.IOException: All specified directories have failed to load. java.io.IOException: All specified directories have failed to load. at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:552) at org.apache.
hadoop集群安装常见问题
u010988585的专栏
12-07 3832
1、Failed to start namenode. 重新格式化hadoop 查看logs日志 hdfs namenode –format ormatting using clusterid: CID-dd578a63-1547-43fb-a4c4-4d058a9ab002 2021-12-06 18:43:13,572 ERROR namenode.NameNode: Failed to start namenode. java.lang.NullPointerExcepti..
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
01-09
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关...
Logstash6整合Hadoop-报错与解决方案.docx
10-26
Logstash6整合Hadoop报错与解决方案 Logstash是 Elastic Stack 中的数据处理引擎，可以从多种数据源中提取数据，并对其进行处理和转换，然后将其输出到多种目标中，例如 Elasticsearch、Kafka、Hadoop 等。在大...
Datanode启动失败All specified directories are failed to load.
weixin_42369418的博客
12-04 815
贴出日志信息。 其实错误和解决的办法都再日志信息里面了。 1，去下面红框框里面的这个文件下面找到Version文件 2，然后打开Version文件，vim打开。 然后将ClusterID进行修改，上面标红的就是旧的ID和新的ID，去文件里面替换掉新的ID就行了 ...
Hadoop HA 增删节点及其中遇到的问题
最新发布
qq_62638206的博客
10-22 301
在所有节点的hdfs-site.xml文件中添加exclude-slaves配置（需要重启）查看namenode路径下的VSERION,保证其他节点上的datanode路径下的VSERION中的cid与其一致。解决办法:在~/.ssh/config文件中添加UserKnownsFile ~/.ssh/known_hosts。在所有老节点中添加exclude-slaves文件，并在其中加入新节点的主机号。否则容易出现got与expected不同！(注意路径下的current文件)
Hadoop报错之---java.io.IOException All specified directories are failed to load
知也无涯
05-10 3660
参考博客 https://blog.csdn.net/lzwglory/article/details/53810588 一:原因分析 多次格式化导致/home/hadoop/hdpdata/dfs/name/current目录下version文件id发生冲突 ,注意:格式化只能执行一次 clusterID=CID-510eb0a4-284b-494c-8ff5-a362cd1516b5...
Hadoop datanode 无法启动，报错：java.io.IOException: All specified directories are failed to load.
萌萌小七的专栏
06-28 8169
log中还会出现字样: There are 0 datanode(s) running and no node(s) are excluded in this operation. 可能是由于在关机的时候，按照正常顺序退出集群造成的，导致dfs中的id不同。 进入dfs/data，修改VERSION文件即可，将version里面的内容修改成和master一直的。 或者直
Hadoop常见错误之HDFS
邹中凡
08-13 1万+
下面小编整理在工作中遇到的问题，以及解决方法。 1，Datanode启动失败错误 现象 在启动Datanode时，/var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-cdh-node12.grc.log.out日志文件中有如下错误：Caught exception while scanning /data/dfs/dn/current. Will thr
Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）
曹世超的专栏
11-13 8162
查看日志： [root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 INFO org.apache.hadoop.hdfs.server.datanode.DataNod
Hadoop 数据节点DataNode异常
热门推荐
玄火的专栏
09-27 1万+
使用start-all.sh脚本或者先后执行start-dfs.sh、start-yarn.sh脚本启动Hadoop后，通过jps命令检测DataNode节点进程发现有DataNode进程，数秒后DataNode进程莫名其妙“消失”了，只有Jps、NodeManager两个进程。简而言之就是DataNode进程异常，由于某种原因导致无法启动或者启动后数据节点DataNode进程自动关闭。
Failed to load the hadoop conf from specified path
04-24
Sorry, it seems like you are facing an issue with loading the Hadoop configuration from a specified path. Can you please provide more details about the error message and the steps that you have taken so far? Without more information, it will be difficult for me to provide a solution.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值