Hadoop报错-java.io.IOException: All spcofoed dorectories have failed to load

最新推荐文章于 2023-10-19 00:27:55 发布
最新推荐文章于 2023-10-19 00:27:55 发布
阅读量302 收藏
点赞数
分类专栏： 报错 文章标签： Hadoop报错 java.io.IOException All specified directories have fail 伪分布式下DataNode无法启动
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JavaDestiny/article/details/87217321
版权

Issue

在伪分布模式下，DataNode的服务器无法启动

在这里插入图片描述
在这里插入图片描述

Answer

这是所有指定目录没有加载成功导致的

（1）重点检查hadoop-env.sh、core-site.xml和hdfs-site.xml的配置文件是否配置正确

hadoop-env.sh配置文件

在这里插入图片描述

core-site.xml配置文件

在这里插入图片描述

hdfs-site.xml配置文件

在这里插入图片描述

（2）删除dfs.namenode.name.dir和dfs.datanode.data.dir目录的文件

在这里插入图片描述
在这里插入图片描述

（3）重新格式化NameNode，重新启动NameNode

在这里插入图片描述

（4）最后重新启动DataNode

在这里插入图片描述
在这里插入图片描述

JP-Destiny
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【hadoop】java.io.IOException: No FileSystem for scheme: hdfs
九师兄
10-22 2801
异常 java.io.IOException: No FileSystem for scheme: hdfs 我是想用hive的sql解析方法解析sql，测试类是可以运行的，但是使用java -cp jar包运行就报这个错。 hadoop解决： conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") ...
hadoop3.2.2--记录java.io.IOException: All specified directories have failed to load.问题
FunnyPrince_的博客
06-12 1760
问题： 在初始化NameNode时，hadoop102 没有启动DataNode，但是log里又有DataNode，查看log提示：java.io.IOException: All specified directories have failed to load. 原因： 一开始初始化NameNode之后发现有问题，开始排查配置文件，修改完配置后，没有删除NameNode及DataNode相关数据，直接初始化NameNode导致clusterID不匹配； 解决方案一： 1.在以下路径找到NameNode的
Hadoop报错之---java.io.IOException: All specified directories are failed to load
最新发布
纯果乐的博客
10-19 246
FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to XXXXXX:9000. Exiting. java.io.IOException: All specified directories are failed to load.
java.io.IOException: All specified directories have failed to load.
一杯派蒙的博客
06-22 1740
java.io.IOException: All specified directories have failed to load. java.io.IOException: All specified directories have failed to load. at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:552) at org.apache.
java.io.IOException: All specified directories are failed to load
q_all_is_well的博客
06-01 1061
2018-06-01 17:01:27,102 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/app/tmp/dfs/data: namenode clusterID = CID-64018bcc-836c-4a42-92...
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
03-05
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发...
Hadoop报错之---java.io.IOException All specified directories are failed to load
知也无涯
05-10 3663
参考博客 https://blog.csdn.net/lzwglory/article/details/53810588 一:原因分析 多次格式化导致/home/hadoop/hdpdata/dfs/name/current目录下version文件id发生冲突 ,注意:格式化只能执行一次 clusterID=CID-510eb0a4-284b-494c-8ff5-a362cd1516b5...
Hadoop:java.io.IOException: Tmp directory
记录我的开发点滴.
08-30 460
今天在机器上搭建Hadoop测试，第一次运行： [code="java"]bin/hadoop jar hadoop-examples-1.0.3.jar pi 10 100[/code] 的时候，是没有问题的，然后我stop-all.sh，修改了一些配置文件， 运行start-all.sh，然后再次运行上面的命令的时候，就出现了这样的情况， 错误信息如下： [code="java"]s...
Hive Sql执行出错 Dag submit failed due to java.io.IOException: All datanodes DatanodeInfoWithStorage
阿拉修
10-25 1469
检查集群中的 Dfs.replication 属性，集群中 INFORMATICA 的最小复制因子为 3 (dfs.replication=3)。第二步：修改dfs.replication值为3（页面上操作），然后重启HDFS。根本原因是集群中的一个或多个信息块在所有节点中都已损坏，因此映射无法获取数据。如果副本数还是3，首先确认副本参数是否已经生效(第三步的命令中可以查看)，第四步、手动创建一个文件，上传至HDFS，观察其副本数。第一步：将HDFS上已有文件副本数修改为3。
All specified directories are failed to load.(二)解决办法就是重新安装Zookeeper与Hadoop
java技术专家全栈成长之路
02-24 362
2019-07-19 06:03:04,229 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: CentOSA/192.168.184.128:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxR...
【解决办法】Hadoop2.6.4 datanode 无法启动，错误：All specified directories are failed to load.
mingyuli的博客
10-12 346
在部署hadoop2.6.4 集群的时候碰到下面的错误 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.200.19...
Hadoop报错：All specified directories are failed to load.
maplecsd的博客
09-23 753
Hadoop报错：All specified directories are failed to load. 先将所有的Hadoop进程停掉，然后清空将所有节点的Hadoop的安装目录下的data目录和logs目录，再重新启动就可以了。
Hadoop datanode 无法启动(All specified directories are failed to load.)
虾哔哔的博客
10-20 3442
今天在启动Hadoop集群的时候，datanode结点一直起不来。查看log文件发现报错了：All specified directories are failed to load。 原因是因为VERSION不一致。解决方法：删除hdfs-site.xml中设置的dfs.namenode.name.dir和dfs.datanode.dadta.dir节点指定的目录下的文件夹，然后重新format
datanode 无法启动，错误All specified directories are failed to load或者livenodes数量为1
weixin_45230582的博客
12-17 174
解决办法初始化namenode 另一种方法说把version覆盖，这种方法没用，虽然datanode启动了，但是可以在web界面看到datanode并没有增加。
java ioexception异常,java.io.IOException异常：服务发现失败
weixin_34576446的博客
02-16 5038
I'm working on an Android app using Bluetooth connectivity between two paired smartphones. The Bluetooth logic is based on the famous BluetoothChat SDK example: a "service" Class managing a thread for...
hadoop报错：java.io.IOException(java.net.ConnectException: Call From xxx/xxx to xxx:10020 failed on con...
05-23
这个错误是因为 Hadoop 无法连接到 YARN ResourceManager。可能是由于以下原因之一： 1. YARN ResourceManager 未启动或已停止运行。 2. 防火墙阻止了 Hadoop 和 YARN ResourceManager 之间的通信。 3. YARN ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值