Hadoop datanode正常启动,但是Live nodes中却缺少节点的问题

背景

       最近在管理集群时发现明明所有数据节点都已经正常启动了,而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有一个。同时,通过web页面查看http://master:50070,在Live Node那一栏也显示只有一个节点,点击进入该节点查看情况,发现是node1,但诡异的是:这时候点击刷新,刷新后的live node数仍然为1,但却变为了node2,反复刷新会发现不停地在node1和node2之间切换(由于我只有两个datanode,若超过两个说不定会在所有的datanode间切换)。通过一番摸索,发现了解决方法。

环境

  • master一个作为NameNode
  • node1作为DataNode
  • node2作为另一个DataNode

解决方法

       1. 打开配置文件hdfs-site.xml找到dfs.datanode.name.dir这个属性,或者dfs.data.dir具体看你用哪个设置的数据存储路径。
       2. 分别在master, node1, node2中更改此属性

 #master中的值
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.2/dfs/data</value>
 </property>
 #node1中的值
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.2/dfs/data/node1</value>
 </property>
 #node2中的值
 <property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/usr/hadoop/hadoop-2.6.2/dfs/data/node2</value>
 </property>

       其实关键就是多个节点存放data数据的目录路径相同了,造成了报告中误认为只有一个datanode!

  • 8
    点赞
  • 28
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值