Hadoop集群连接报错(以及tmp目录的设置)

此问题用于解决此次异常之前集群是正常工作的情况下可参考,若不是则需要重新查看Hadoop的各个配置文件

问题1:

在这里插入图片描述

经过查找,解决办法:

查看集群是否启动?:
在这里插入图片描述
集群关闭常出现在学习过程中,因为每天我们需要电脑关机,当我们的物理机关闭后,那么虚拟机里面的集群也会随之关闭,在我们下次使用集群前输入命令就会报错,所以我们需要重新启动namenode和datanode

注:第一次格式化namanode后,不要总是每次启动后就格式化namenode。最好直接启动namenode和datanode。


问题2 :

namenode在第一启动后,以及datanode第一次启动后,集群之间的联系通过产生的特定ID 来识别对方,但集群关闭后,第二次启动后,会有文件残留,可以通过 bin/hdfs namenode -format(或者hadoop namenode -format)对namenode进行格式化,则会重新产生一个新的namenode文件(ID),这就会导致以前的datanode不再认识新的namenode(ID换了),因为只是格式化了namenode没有更改datanode,导致集群无法启动或者datanode和namenode只工作一个

解决办法:必须在格式化namenode前,删除datanode里面的信息(默认存在根目录下(/)的/data中(如图),如果自己重新配置了存放目录,那就要去自自己配置的目录下删除即可,一般把该目录配置在hadoop安装目录下新建一个/data/tmp目录,用来存放datanode信息)

在这里插入图片描述
查看tmp中的hadoop日志
在这里插入图片描述

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhblog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值