hadoop datanode和namenode节点clusterIDs不一致处理

最新推荐文章于 2021-09-08 20:20:24 发布
最新推荐文章于 2021-09-08 20:20:24 发布
阅读量1.1k 收藏 3
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40454655/article/details/89482199
版权

bug信息：

java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop-2.6.0-cdh5.7.0/data/dfs/da
ta: namenode clusterID = CID-2533ed7c-6c85-42a1-8ea4-8e12a7872913; datanode clusterID = CID-ee22bb74-b743-4d1e-b0e8-bd74ba1aae92
2019-04-23 21:29:49,296 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/hadoop-2.6.0-cdh5.7.0/data/dfs/data/in_use.lock acquired by nodename 666
@NN2

处理办法：

找到namenode的clusterID，替换掉datanode 的clusterID，然后重启集群即可。

namenode的id目录：hadoop-2.6.0-cdh5.7.0/data/dfs/data/current

datanode的id目录：hadoop-2.6.0-cdh5.7.0/data/dfs/name/current

谜失落的世界
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop中namenode和secondarynamenode工作机制讲解
09-30
今天小编就为大家分享一篇关于Hadoop中namenode和secondarynamenode工作机制讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
hadoop动态增加和删除节点方法介绍
09-30
在Hadoop集群中增加新的DataNode节点，可以提高集群的数据存储和处理能力。以下是增加DataNode的步骤： 1. **准备新节点**：首先，确保新节点的操作系统与集群中的其他节点一致，例如CentOS 6.7 x64。安装相同版本...
hadoop datanode 无法启动之 namenode ID 不一致解决办法。
垮掉的一代人的专栏
04-14 4913
如何验证集群namenode ID和datanode ID 一致 首先 我们将文件存在/usr/local/hadoop_tmp/hdfs目录下 新建datanode和name node 文件夹，并使用hadoop namenode -format或hdfsnamenode -format（这个命令执行文件在/usr/local/hadoop/sbin）目录下。第一次使用会在N...
namenode ID与datanode 不匹配 找不到datanode
qq_38195641的博客
04-12 845
解决hahdoop中由于多次格式化namenode 造成的namenode ID与datanode 不匹配 找不到datanode 找到hadoop的配置文件/usr/local/hadoop/etc/hadoop/ 就是之前配置伪分布式hdfs时修改过的2个配置文件 core-site.xml 和 hdfs-site.xml 。 打开 core-site.xml 查看data 和name 地址 ...
DataNode和NameNode的clusterID不一致
jensen-ZGX的博客
05-13 2747
如果查看到50070可视化界面中的live node数为0，则有可能是DataNode和NameNode的clusterID不一致。 解决方案： 推荐方案：关闭Hadoop，删除各个datanode中的data文件夹下的所有文件，启动Hadoop，这样不用更换namenode中的clusterID。 第二种方案就是格式化namenode。 关键代码： hadoop namenode -forma...
hadoop中集群节点ID不一致（ java.io.IOException: Incompatible clusterIDs ）
weixin_34259232的博客
05-26 160
转载于:https://www.cnblogs.com/yanghuabin/p/6907776.html
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题
CstomRita的博客
01-24 568
解决namenode与datanode cluterID 不一致导致datanode无法启动的问题 解决方案： 在namenode机器上，根据日志提供的路径选择文件夹，存在data 与 name两个文件夹， 选择name文件夹，编辑version文件，将其clusterID修改为日志中datanode的clusterID 重启集群
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
Hadoop Namenode恢复
最新发布
09-02
Hadoop Namenode 恢复 Hadoop Namenode 是 Hadoop 分布式...通过修改配置文件、重启 Hadoop 和恢复 namenode，可以确保 namenode 的可靠性和可用性。同时，secondarynamenode 的存在也可以确保 namenode 的高可用性。
Hadoop-解决NameNode启动后秒挂的问题（多次格式化造成元数据不统一）
u011250186的博客
09-08 1495
直奔主题：hadoop集群启动后，namenode一开始有，但是过一会就没了，大概率是因为元数据不统一的问题。 这里只是一种可能性，不排除有其他配置原因 为什么会造成元数据不统一，最常见的是你NameNode多次格式化了。 举个例子： 如果你的Hadoop集群只格式化了一次，即正常情况下，看下NameNode和DataNode的元数据Id值： 如果你多次格式化了，那么就会造成元数据的不统一，如查看下日志 解决方法1：复制NameNode中的ClusterId，修改DataNod...
hadoop集群中有个slave节点的时间与master不同步
cici2013的专栏
08-22 1878
在slave3上jps，发现没有HQuorumPeer 查看log   cd /usr/local/hbase/logs   tail -n 100 hbase-hadoop-regionserver-slave3-t.log 发现报错：   2018-03-09 13:26:00,207 INFO  [regionserver/slave3-t/192.168.8.73:...
Hadoop多次format格式化会导致节点的clusterID不一致
一只特立独行的猪
05-18 2446
1. 使用环境 vmware配置的3个Centos7虚拟机，一个master，2个slave 2. 问题描述 hadoop 多次格式化format namenode 导致节点不能启动 出现这个问题的原因是多次格式化会导致节点的clusterID不一致 3. 解决方法 （1）先停止所有启动的服务 /usr/local/hadoop/sbin/stop-all.sh （2）删除core-site.x...
配置hadoop分布式集群时解决各节点时间不同步的问题
weixin_42209572的博客
05-04 2142
Hadoop集群用到的工具 版本号 节点名称 hadoop 2.7.1 Master hbase 1.4.7 Slave1 Slave2 Slave3 根据前文的配置Hadoop分布式集群方法： https://blog.csdn.net/weixin_42209572/article/details...
hadoop namenodeID不一致问题解决
狐狸叫
02-19 3004
原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致； 找了一下资料，有三个解决方案： 解決方法一：删除 datanode 的所有资料，主要指的是tmp目录和data目录，适用没存放过任何资料的HDFS；
启动Hadoop出现问题：datanode的clusterID 和 namenode的clusterID 不匹配
learn_8的专栏
03-24 3868
注：图片如果损坏，点击文章链接：https://www.toutiao.com/i6632047118376780295/ 启动Hadoop出现问题：datanode的clusterID 和 namenode的clusterID 不匹配 从日志中可以看出，原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。 打开hdfs-site.xm...
hadoop HA 集群启动发现现datanode没有启动，namenode clusterID与datanode clusterID不兼容，不匹配。
chengzi_home的博客
03-15 2568
    今天笔者在集群启动的时候发现datanode没有启动，立马查看了datanode日志，发现了如下问题：这个问题说的是，集群的namenode clusterID与datanode clusterID不兼容，不匹配。造成这种情况的原因是namenode格式化了多次，datanode cluesterID只有首次才会生成，namenode clusterID每格式化一次就会生成一次，所以会造成...
datanode 由于和namenode版本不一致无法启动问题
nieji3057的博客
07-21 1243
报错日志： Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to bigdata1/10.5.46.201:8022. Exiting. java.io.IOException: All specified directories are failed to ...
全网最详细的再次或多次格式化导致namenode的ClusterID和datanode的ClusterID之间不一致的问题解决办法（图文详解）...
weixin_34184158的博客
06-16 574
      　　　　不多说，直接上干货！     　　java.io.IOException: Incompatible clusterIDs in /opt/modules/hadoop-2.6.0/data/tmp/dfs/data: namenode clusterID = CID-10c4a581-792e-48a2-932b-c279a448df47; datanode cl...
Hadoop卸载任意namenode节点
05-30
1. 从Hadoop集群中删除该节点的所有数据块副本和心跳信息。 2. 关闭该节点的Hadoop进程。 3. 从Hadoop配置文件中删除该节点的配置信息。 具体步骤如下： 1. 在Hadoop集群中，使用命令行工具进入该节点。 2. 停止该...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值