window本地启动hadoop集群datanode节点报错：java.io.IOException All specified directories are failed

最新推荐文章于 2023-02-18 13:04:36 发布
最新推荐文章于 2023-02-18 13:04:36 发布
阅读量479 收藏
点赞数
分类专栏： java 文章标签： hadoop java hdfs eureka 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52789121/article/details/126552913
版权

错误原因：

Hadoop启动后，在使用格式化namenode，会导致datanode和namenode的clusterID不一致

解决办法：

修改datanode下的clusterID和namenode的clusterID一致：

1.先找到/etc/hadoop/hdfs-site.xml

2.里面有datanode的路径，在那个路径下找：/current/VERSION文件，即可修改clusterID

暮晓引流软件
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
03-02
报错：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
hadoop datanode和namenode节点clusterIDs不一致处理
qq_40454655的博客
04-23 1161
bug信息： java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop-2.6.0-cdh5.7.0/data/dfs/da ta: namenode clusterID = CID-2533ed7c-6c85-42a1-8ea4-8e12a7872913; datanode clusterID = CID-ee22bb7...
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题
CstomRita的博客
01-24 553
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题 解决方案： 在namenode机器上，根据日志提供的路径选择文件夹，存在data 与 name两个文件夹， 选择name文件夹，编辑version文件，将其clusterID修改为日志中datanode的clusterID 重启集群
Hadoop(一)之Hadoop安装的坑爹经历
痛苦只是暂时的
05-29 176
 hadoop2.6.0版本搭建伪分布式环境      对于我这样没有接触过hadoop的人，而且linux又只懂得皮毛，搭建好这个环境真是搞懂一个概念    还要难，还要久，尤其特别坑爹，愤懑~    所以，我把我在安装配置过程中的一些坑爹过程，记录下来，一为以后，可能某一天又    要重新安装，还有点东西可以参考，毕竟自己写的，容易理解，二者，希望那些遇到跟我一样的    ...
HDFS启动发现DataNode启动失败报错:java.io.IOException: Incompatible clusterIDs
07-15 905
报错详情： HDFS启动后有个别DataNode很快就挂掉，经查看日志文件，有如下报错： 2020-07-15 09:55:09,406 INFO common.Storage (Storage.java:tryLock(776)) - Lock on /opt/hadoop/hadoop/hdfs/data/in_use.lock acquired by nodename 20657@node4 2020-07-15 09:55:09,408 WARN common.Storage (DataSt
DataNode无法启动，All specified directories are failed to load
weixin_33811961的博客
01-04 426
Namenode节点因网络问题挂掉以后，整个集群的datanode等服务也相继挂了，待修复网络问题，并且启动集群后发现有两个datanode节点无法启动，查看日志发现其报错如下： 017-12-20 23:55:17,542 WARN org.apache.hadoop.hdfs.server.common.Storage: org.ap...
windows环境Hadoop启动后jps没有DataNode的解决方案
yidaidai的博客
05-31 532
windows环境Hadoop启动后jps没有DataNode的解决方案
Windows下hadoop环境搭建之NameNode启动报错
北桥苏的博客
02-16 5099
前言： 因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。 关于hadoop的环境搭建，网上也有各种各样的教程。拿来直接按着他们的方法来，前期当前问题不大，但是呢，可能在安装过程中由于每个工具的版本不一致。又或者配置中文件路径不一样等等都很可能导致踩坑无数。不管是开发调测bu...
【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
01-07
【kettle集成cdh6.1】外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记 前言 最近试着上手了一下kettle，搭建过程很简单，就是下载个包解压一下，但是在配置数据源的过程中着实踩了不少坑，这里记录一下。...
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
我在进行MapReduce本地测试的时候，遇见下面的报错： Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
Hadoop filesystem连接失败问题解决
如果云层是天空的一封信
12-09 2971
每次重启wsl的时候，hadoop的fs都连不上了！！！ $ hadoop fs -ls / -ls: java.net.UnknownHostException: master Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src>
MapReduce 中出现 java.io.IOException: Cannot initialize Cluster.
clearlove_black的博客
03-03 3420
java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. 上面的图片显示了一个错误，是我在跑hadoop知道的example的时候出现的问题。 他说是...
windows启动hadoop namenode无法启动
qq_65303368的博客
02-18 245
hdfs-site.xml与core-site.xml配置项出现冲突。windows环境启动hadoop集群出现报错。删除core-site.xml红框中的配置项。
读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl
QYHuiiQ
06-07 734
在MapReduce中读取HDFS上的文件时报错： 这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。 而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添
win10启动hadoop时遇到的坑
sebeefe的博客
04-11 3356
目录 背景 1、?Exception in thread “main” java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 2、?Exiting with status 1: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory
Hadoop 2.6.4集群启动报错java.io.IOException: All specified directories are fail
chunguang.yao的博客
05-26 327
之前在自己本地的电脑上安装了3个linux机器来搭建hadoop集群，前面一段时间是使用三台来进行练习，后面发现电脑内容有点紧，就切换为两台。最近给电脑加了内存之后，就想把三台一起启动了。但是发现之前一直没用的那台没能起来，就去查看日志。 到mini3机器的日志目录，查看日志： 由错误日志可以看出来是当前机器的集群id和nameNode的集群id不相同，导致该节点无法加入集群 ...
Hadoop 初始化集群后，clusterID不一致，报错
qq_41993290的博客
08-11 3668
Hadoop 初始化集群后报错，clusterID不一致 将namenode初始化后发现集群无法正常启动 在查看日志文件后，发现namenode和datanode的clusterID不一致，导致集群无法正常启动 思路： 将namenode和datanode结点的clusterID改为一样的 解决方法： 1.以namenode的clusterID最为唯一标识 进入目录hadoop-2.7.7/dat...
hadoop报错：java.io.IOException(java.net.ConnectException: Call From xxx/xxx to xxx:10020 failed on con...
最新发布
05-23
这个错误是因为 Hadoop 无法连接到 YARN ResourceManager。可能是由于以下原因之一： 1. YARN ResourceManager 未启动或已停止运行。 2. 防火墙阻止了 Hadoop 和 YARN ResourceManager 之间的通信。 3. YARN ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值