Hadoop伪分布式 datanode节点启动不了

Hadoop伪分布式 datanode节点启动不了

一,当出现namenode和datanode不能同时工作时,显示的问题如下

<1>当不启动namenode的时候可以启动datanode,情况如下图。

image-20200910225855198

<2>当启动namenode节点的时候,datanode直接挂掉,情况如下图。

image-20200910231026812

<3>这是因为多次格式化namenode导致的问题,namenode在格式化之后会生成一个clusterID,datanode在启动后也会生成一个和namenode一样的clusterID,多次格式化namenode后会生成新的clusterID,此时与未删除的datanode的clusterID不一样,导致不能同时工作。

二,我们可以先去看一下,现在两个分别的clusterID

<1>查看官方的默认存放位置如下

image-20200910231834923

<2>下面是自己配置数据储存位置的方法

这里我们可以在Hadoop配置文件里面,在core-site.xml里配置数据储存位置

<property>
        <name>hadoop.tmp.dir</name>  
        <value>/opt/module/hadoop-2.6.0/data/tmp</value>
    </property>

hadoop.tmp.dir --代表数据存储目录的配置,我这里配置到了/opt/module/hadoop-2.6.0/data/tmp目录下,你们可以自行配置目录

<3>查看namenode和datanode的clusterID

找到自己的数据存储目录,进入tmp目录,再进入dfs目录,可以看到如下图

image-20200910233139235

1.先进入data目录下的current可以看到如下 -----这一步是查看datanode的clusterID

image-20200910233316362

2.查看VERSION

image-20200910233538898

datanode的clusterID=CID-ddd38da0-ea40-4e92-b56e-2d52944ca26d

同理查看namenode的clusterID,进入dfs里的name目录下,查看

image-20200910234109848

namenode的clusterID=CID-051ef3fd-0966-4d86-88f9-f606f4469253

我们对比上面的datanode的clusterID,我复制下来对比一下

datanode的clusterID=CID-ddd38da0-ea40-4e92-b56e-2d52944ca26d

可以看到明显不相同,所以就是这里的问题!

三,解决方案

<1>关闭namenode节点或者datanode节点,全都停止。 ----这里得退回到Hadoop根目录哦

image-20200910234539458

<2>删除你tmp目录里的全部内容

image-20200910234754337

然后返回到Hadoop根目录,重新格式化namenode,然后重新启动namenode和datanode就可以了

image-20200910234959898

四,下面我们使用伪分布式执行wordcount案例试试

image-20200910235425961

image-20200910235431380

可以看到可以完美执行wordcount案例!

关注我,期待与你一起进步!

  • 0
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fan_Coder

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值