Hadoop报错:Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode

当遇到Hadoop集群错误:Incompatible clusterIDs时,通常是由于namenode和datanode的clusterID不一致导致。解决方法包括:1.关闭集群,删除datanode文件,重新格式化namenode后再启动;2.手动修改namenode或datanode的clusterID使其一致。注意,集群环境下修改namenode的clusterID更方便。
摘要由CSDN通过智能技术生成

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动。在datanode日志中会有类似如下的报错信息:

java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8-bf2f-4cb7-8401-d470c89798e4

这是因为每次格式化namenode会生成一个新的clusterID,而datanode的clusterID还是旧的。

如下两种方法可以帮助解决此错误:

方法1:

关闭集群

[root@master /]# stop-dfs.sh

删除所有datanode节点的文件

#删除所有datanode节点的文件
#rm -rf /tmp/hadoop-{username}/*
rm -rf /tmp/hadoop-root/*

重新格式化namenode:

hdfs namenode -format

启动集群:

[root@master local]# start-dfs.sh

 

方法2:

默认情况下
namenode的clusterID写在/tmp/hadoop-root/dfs/name/current/VERSION文件中
datanode的clu

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值