【解决】hadoop集群环境datanode节点起不来

文章讲述了在启动Hadoop集群后,发现所有节点都缺少datanode的问题。通过检查日志和配置文件,发现缺少hdfs-sockets文件夹,特别是dfs.domain.socket.path的配置。解决方案是创建hdfs-sockets文件夹并重启集群,确保每个节点都有正确的配置。
摘要由CSDN通过智能技术生成

集群情况

master:x.x.x.102

slave1:x.x.x.103

salve2:x.x.x.104

问题描述

启动集群后,执行jps命令,发现所有节点都缺少datanode

(这里尝试过删掉data的目录hadoop安装路径/etc/hadoop/core-site.xml中配置的hadoop.tmp.dir存储路径,重新格式化hdfs namenode -format,未能解决问题)

hdfs-site.xml配置文件中,datanode的存储路径dfs.datanode.data.dir-----/data/tmp/hadoop/data下面为空,正常情况下此文件夹下面应该存在current文件夹和in_use.lock文件

解决

查看hadoop的datanode日志 hadoop安装路径/logs/ 上下翻动一下!!!肯定有输出的

日志里说缺少/var/run/hdfs-sockets和/var/run/hdfs-sockets/dn两个文件夹

查看配置文件hdfs-site.xml,发现缺少的文件夹是dfs.domain.socket.path的配置的路径

查看本机/var/run文件夹下,还真缺少这两个文件夹

注意:这里只需要手动创建一个文件夹/var/run/hdfs-sockets,其下的子目录会由hadoop自己创建(若手动创建两个,会报错)(要在集群的每一个机器上都创建)

mkdir /var/run/hdfs-sockets

重启集群,查看集群进程,正常

  • 6
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

八月和我

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值