Hadoop datanode正常启动,但是Live nodes中却缺少节点的问题

背景:

       最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web页面查看http://master:50070,在Live Node那一栏也显示只有一个节点,点击进入该节点查看情况,发现是node1,但诡异的是:这时候点击刷新,刷新后的live node数仍然为1,但却变为了node2,反复刷新会发现不停地在node1和node2之间切换(由于我只有两个datanode,若超过两个说不定会在所有的datanode间切换)。通过一番摸索,发现了解决方法。

命令查看:

hadoop dfsadmin -report

 

原因分析:

因为我的hadoop 集群配置时都是复制到每个节点的,所以datanode 的VERSION里面有2个id是一模一样不能共存。datanodeUuidstorageID

修改VERSION 中 datanodeUuid和storageID

node1

storageID=DS-68dde2df-3a19-4638-bb30-2c8e028d1d0c
clusterID=CID-b0cb7040-8ca5-4cbf-8f7a-767094d32a0b
cTime=0
datanodeUuid=0efbf36e-f3eb-4a4d-88be-1c8c945109cc
storageType=DATA_NODE
layoutVersion=-56

node2

storageID=DS-68dde2df-3a18-4638-bb30-2c8e028d1d0c
clusterID=CID-b0cb7040-8ca5-4cbf-8f7a-767094d32a0b
cTime=0
datanodeUuid=0efbf36e-f3eb-4a4d-88be-1c8c945108cc
storageType=DATA_NODE
layoutVersion=-56

node3

storageID=DS-68dde2df-3a17-4638-bb30-2c8e028d1d0c
clusterID=CID-b0cb7040-8ca5-4cbf-8f7a-767094d32a0b
cTime=0
datanodeUuid=0efbf36e-f3eb-4a4d-88be-1c8c945107cc
storageType=DATA_NODE
layoutVersion=-56

重新启动集群,问题解决

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

独行客-编码爱好者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值