hadoop datanode重启出现namenode的clusterID和datanode的不一致。

最新推荐文章于 2021-10-14 15:23:17 发布
最新推荐文章于 2021-10-14 15:23:17 发布
阅读量9.7k 收藏 2
点赞数 1
分类专栏： Hadoop 探索之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ubuntu_yanglei/article/details/51363661
版权

日志报出的错误是这样的：

016-05-10 15:14:05,620 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (storage id DS-6116241-10.20.18.160-50010-1462417536805) service to cdhhadoop1/10.20.18.158:8020
java.io.IOException: Incompatible clusterIDs in /data/1/dfs/dn: namenode clusterID = CID-dc4b2cf0-4676-4517-ab93-dacbcde16e04; datanode clusterID = CID-ac9d3097-75ad-45b5-8af3-b0e930400956
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:407)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191)
	at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219)
	at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:916)
	at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:887)
	at org.apache.hadoop.hdfs.server
最低0.47元/天 解锁文章
白杨湖
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
由于格式(format)多次namenode造成的集群id(ClusterID)不一致问题
捕影世界
09-21 2511
高可用集群（ha集群）,有两个namenode，一个active状态，一个standby状态。               1，当配置好第一个namenode后，第一次启动第一台namenode：hadoop-daemon.sh start namenode               2，第一次格式化namenode会产生集群ID(ClusterID)：hdfs namenode -fo
DataNode和NameNode的clusterID不一致
jensen-ZGX的博客
05-13 2754
如果查看到50070可视化界面中的live node数为0，则有可能是DataNode和NameNode的clusterID不一致。 解决方案： 推荐方案：关闭Hadoop，删除各个datanode中的data文件夹下的所有文件，启动Hadoop，这样不用更换namenode中的clusterID。 第二种方案就是格式化namenode。 关键代码： hadoop namenode -forma...
Hadoop多次format格式化会导致节点的clusterID不一致
一只特立独行的猪
05-18 2459
1. 使用环境 vmware配置的3个Centos7虚拟机，一个master，2个slave 2. 问题描述 hadoop 多次格式化format namenode 导致节点不能启动 出现这个问题的原因是多次格式化会导致节点的clusterID不一致 3. 解决方法 （1）先停止所有启动的服务 /usr/local/hadoop/sbin/stop-all.sh （2）删除core-site.x...
hadoop多次格式胡namenode无法启动datanode
u012608836的博客
03-01 566
/tmp  目录下namenodeID与datanodeID不一致，网上说法各一，我是直接删除                                          /usr/local/hadoop/tmp/dfs/data/datanode/current 所有文件，从新格式化                      bin/hadoop namenode -format  
hadoop2.0 2个namenode 2个datanode 部署
01-16
如果一个 Namenode 或 Datanode 节点出现故障，另一个节点可以继续提供服务，确保数据的可用性和一致性。 分布式文件系统 Hadoop 的分布式文件系统（HDFS）提供了高可用性和高性能的文件存储解决方案。它可以 ...
Hadoop HA搭建笔记和配置文件
11-10
7. **配置YARN HA**：在`yarn-site.xml`中配置`yarn.resourcemanager.ha.enabled`为true，并设置`yarn.resourcemanager.cluster-id`和`yarn.resourcemanager.ha.rm-ids`。同样，配置`yarn.resourcemanager.address`...
Hadoop HA搭建脚本资料（必读）
最新发布
06-10
1. **环境准备**：确保多台服务器（至少三台，包括NameNode、DataNode和ResourceManager节点）安装了相同版本的Hadoop和Java环境。 2. **配置网络**：设置主机名解析，确保所有节点间可以互相访问，并配置好防火墙...
hadoop和spark集群安装（centos）
03-04
首先，为了确保集群的稳定性和一致性，我们通常会创建一个新的用户——`hadoop`，专门用于管理Hadoop和Spark的相关服务。通过`sudo useradd hadoop`命令创建新用户，然后使用`sudo passwd hadoop`设置密码。在集群...
Hadoop集群的搭建.docx
10-07
解决方法有两种：一是手动修改DataNode和NameNode中`VERSION`文件的`clusterID`使其一致；二是删除临时文件目录，重新初始化NameNode并重启所有服务。 启动Hadoop集群，执行`start-all.sh`脚本。通过`jps`命令验证...
hadoop搭建.docx
11-26
- **配置YARN-Site.xml**：设置YARN的ResourceManager HA，包括`yarn.resourcemanager.cluster-id`，`yarn.resourcemanager.ha.enabled`，`yarn.resourcemanager.ha.rm-ids`，`yarn.resourcemanager.address`等。...
HadoopHA配置文件.rar
05-12
在分布式计算领域，Hadoop是不可或缺的关键技术，它为大数据处理提供了可靠且可扩展的解决方案。高可用性（High Availability, HA）是Hadoop的重要特性，确保系统在单个组件故障时仍能继续运行。本文件"**HadoopHA...
centos7搭建hadoop2.10高可用(HA)
01-09
6. `cluster.xml`: 定义NameService ID（如`nameservice1`），以及包含的NameNode。 此外，还需要在Zookeeper中配置Hadoop HA的相关信息，确保Zookeeper集群的正确运行。Zookeeper的角色是监控NameNode的状态，并在...
自己总结的hadoop HA安装流程
02-28
在大数据处理领域，Hadoop是不可或缺的开源框架，它提供了分布式存储和计算的能力。而Hadoop HA（High Availability）则是为了确保系统在面临单点故障时仍能保持高可用性。以下是我根据自身经验总结的Hadoop HA安装...
hadoop+HA+zookeeper+hbase配置文件
04-25
在分布式计算领域，Hadoop是不可或缺的关键组件，它提供了可靠的数据存储和大规模并行处理能力。Hadoop 2.6.0版本引入了高可用性（HA）特性，增强了系统的稳定性，而Zookeeper则作为协调服务，确保了分布式环境中的...
简单认识namenode和datanode
pfnie的博客
04-16 635
一、Hadoop的启动 在阅读这篇博客之前，你应该先阅读：Hadoop的安装与环境搭建. 1. 首先在npdev1机器上面运行hadoop-daemon.sh start namenode，启动namenode. 2. 然后在npfdev2,npfdev3,npfdev4分别运行hadoop-daemon.sh start datanode 3. 启动完成之后，我们的Hadoop的
DataNode 启动失败(ClusterID不一致)：Initialization failed for Block pool
Samooyou的博客
10-14 2114
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid 1098277a-8189-4b88-9a9b-31dbb7cdd27f) service to hadoop162/192.168.1.162:8020. Exiting. java.io.IOException: All specified di...
HDFS保证数据一致性与容错机制
ThreeAspects的博客
05-07 2858
HDFS保证数据一致性HadoopNameNode保证元数据的一致性校验和HA高可用冗余副本机架感知心跳机制安全模式校验和回收站元数据保护快照机制 Hadoop   HDFS作为分布式文件系统在分布式环境下如何保证数据一致性。HDFS中，存储的文件将会被分成若干的大小一致的block分布式地存储在不同的机器上，需要NameNode节点来对这些数据进行管理，存储这些block的结点称为DataNod...
Incompatible clusterIDs in dfs/dn: namenode clusterID=cluster19; datanode clusterID=hacl-pepstack
飞朋的博客
02-27 1560
cdh中hdfs的namenode的datenode的cluster Id不一致导致hdfs启动失败 2019-02-26 17:46:40,663 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage org.apache.hadoop.hdfs.ser...
Hadoop技术入门：NameNode, SecondaryNameNode, DataNode解析
"Hadoop开发者入门，介绍Hadoop的体系结构，包括NameNode、SecondaryNameNode、DataNode和TaskTracker、JobTracker的角色，并提及Hadoop技术论坛的信息和2010年初创刊的《Hadoop开发者》杂志" 在深入探讨Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值