【Hadoop】Hadoop集群多次初始化后无法启动DataNode节点

  • 描述
    由于多次使用bin/hadoop namenode -format命令导致集群无法启动DataNode节点

  • 产生原因
    执行文件系统格式化时(bin/hadoop namenode -format ),会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个文件,记录clusterID,标识了所格式化的namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的文件只是你第一次格式化时保存的namenode的ID,因此就会造成namdenode 的 clusterID与 datanode的clusterID不一致,从而导致namenode和 datanode的断连。

  • 解决方法

  1. 第一种
    直接删除Hadoop的tmp、dfs、logs目录,然后重新格式化,再次启动就好了
  2. 第二种
    找到两个文件,文件地址分别是dfs.name.dir下的/current/VERSIONdfs.data.dir下的/current/VERSION(dfs.name.dirdfs.data.dir是自己在配置文件中设置的路径)
    找到后打开两个文件可以发现,两个clusterID已经不一样了,如下图所示

记录data的
data的
记录name的
在这里插入图片描述
现在我们只需要将两个clusterID改成一样,再次重启即可

  • 3
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值