【问题解决】Hadoop集群启动后执行JPS没有DataNode或NameNode

引言

最近在尝试在搭建Hadoop集群并测试集群是否搭建成功,但是第一次格式化NameNode并启动HDFS和YARN时发现一会儿有DataNode或者NameNode但是后面就没有了,二者没有同时存在,也尝试过停止进程再重新启动都没有解决掉该问题。

相关命令

集群第一次启动,格式化NameNode

bin/hdfs namenode -format

启动HDFS

sbin/start-dfs.sh

停止HDFS

sbin/stop-dfs.sh

启动YARN

sbin/start-yarn.sh

停止YARN

sbin/stop-yarn.sh

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

停止所有进程

sbin/stop-all.sh

删除文件

rm 文件名

删除文件夹及文件

rm -rf 文件夹名

问题原因

可能是配置文件出错,需要检查core-site.xml 和 hdfs-site.xml这俩文件;
可能是多次格式化NameNode,但是格式之前并没有停止之前的进程并删除相关数据。

解决方式

(1)需要检查core-site.xml 和 hdfs-site.xml;
(2)重新格式化:先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据。(具体删除方式见下面截图,亲测有效!)

  1. 删除dfs文件夹里的文件
    路径:/opt/module/hadoop-2.7.2/data/tmp/dfs
    在这里插入图片描述
  2. 删除nm-local-dir文件夹
    路径:/opt/module/hadoop-2.7.2/data/tmp
    在这里插入图片描述
  3. 删除logs文件夹里的所有文件和文件夹
    路径:/opt/module/hadoop-2.7.2/logs在这里插入图片描述
    需要在每一个集群结点上执行上述删除操作
    删除操作后,就可以重新执行格式化NameNode操作。

测试结果

节点1(NameNode):
在这里插入图片描述
节点2:
在这里插入图片描述
节点3:
在这里插入图片描述

注意

如果集群是第一次启动,需要格式化NameNode,执行一次format就行了(注意格式化之前或者重新格式化,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据),start-dfs.sh开启namenode和datanode守护进程,停止进程并退出使用stop-dfs.sh。

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wydxry

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值