搭建hadoop集群初次格式化namenode时不小心格式化了多次,主节点namenode或者从节点datanode进程不能启动,怎么办?

我们在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。而且主节点格式化操作只能进行一次。
那我们在格式化时,不小心格式化多次,就会导致主从节点之间互相不识别。然后导致启动hadoop集群时,主节点的namenode进程可能不会启动或者从节点的datanode可能不会启动。
在这里插入图片描述

这里给出一种解决方法:
我们在配置hadoop的配置文件core-site.xml时,其中有一组参数hadoop.tmp.dir,它的值指定的是配置hadoop的临时目录
在这里插入图片描述
我们把tmp目录删除,再重新格式化即可。
先进入/export/servers/hadoop/文件目录 ,然后执行命令rm -rf tmp(每台机器都要删除tmp目录)
在这里插入图片描述
再执行命令hdfs namenode -format(此步只需要在主节点上执行)
出现“successfully formatted”则说明格式化成功。
在这里插入图片描述
此时在主节点上执行命令start-all.sh脚本一件启动集群
在这里插入图片描述
再在三台节点上分别输入命令jps查看进程,主节点master上有ResourceManager,NameNode,DataNode以及NodeManager四个进程;从节点slave1上有NodeManager,SecondaryNameNode以及DataNode三个 进程;从节点slave2上有DataNode以及NodeManager两个进程,则说明集群启动正常,如下图分别为主节点master的进程情况,从节点slave1的进程情况,从节点slave2的进程情况
主节点master
从节点slave1
从节点slave2
以上就是整个过程!!!

  • 12
    点赞
  • 92
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Hadoop集群搭建中,格式化HDFS的具体过程如下: 1. 打开终端或命令行界面,通过SSH登录到Hadoop集群节点上。 2. 确保Hadoop集群的所有节点都正常运行,并且网络连接正常。 3. 进入Hadoop的安装目录,通常为`/opt/hadoop/`或自定义的目录。 4. 找到`hadoop/bin`目录下的`hdfs`脚本文件,执行以下格式化命令: ``` ./hdfs namenode -format ``` 这将启动HDFS格式化过程。 5. 格式化过程会生成初始的文件系统元数据,同会清空HDFS上的所有数据。在执行格式化命令,系统会提示确认是否继续。输入`Y`或`yes`确认继续。 6. 格式化过程可能需要一些间,具体间取决于Hadoop集群的规模和配置。期间可以观察终端输出,以了解格式化的进度和状态。 7. 格式化完成后,可以通过执行以下命令启动HDFS服务: ``` ./start-dfs.sh ``` 这将启动HDFS的各个组件,包括NameNode、Secondary NameNodeDataNode。 8. 可以通过执行以下命令验证HDFS的状态: ``` ./hdfs dfsadmin -report ``` 这将显示HDFS集群的状态信息,包括NameNode的活跃状态、DataNode的数量等。 完成上述步骤后,HDFS就已经成功格式化启动。可以通过执行一些HDFS相关的命令或运行示例程序,验证Hadoop集群的正常运行。 需要注意的是,格式化HDFS会清空HDFS上的所有数据,请确保在执行格式化命令之前进行备份,并确保确认操作无误。此外,格式化HDFS只需要在集群首次搭建或重新搭建执行一次,后续的启动不需要再进行格式化操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值