hadoop中live nodes有三个,但datanode只显示一个

hadoop集群配置问题:

(1)我一开始配置出现的问题是live nodes显示有三个,但datanode没有显示,或者只显示一个

没有显示的问题:
原因:这是多次格式化的问题
解决办法:1-删除的创建数据和临时文件夹
删除data/hadoop下的tep文件和namenode文件(网上删除方法很多,一点更要删除文件目录)

2-1.创建数据和临时文件夹

Master node:

mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode

Other nodes:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/datanode

或者在master节点shell :
ssh node1 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node2 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node3 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”

2-2. 分发到每个节点
scp -r /opt/hadoop-3.1.4/ node1:/opt/
scp -r /opt/hadoop-3.1.4/ node2:/opt/
scp -r /opt/hadoop-3.1.4/ node3:/opt/

2-3. 格式化 HDFS
在master上面:
cd /opt/hadoop-3.1.4
cd bin
./hdfs namenode -format demo

(2)hadoop中live nodes有三个,但datanode只显示一个的问题
在这里插入图片描述

原因:主机名重复
方法修改主机名:(到每一个主机上面执行下面的命令)
hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
修改完成后都要输入reboot重启

vi /etc/sysconfig/network
输入: HOSTNAME=master/node1/node2/node3
(这种方式修改的主机名不可以,必须用上面一种方式修改,我一开始就是这样修改主机名的,显示只有一个datanode,这种方式可以正常切换主机,但是主机名却没有跟着切换)

主机名修改完成后,可以开始启动了

启动集群
在master上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:

[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver

  1. 报错:设置hadoop-env.sh
    /opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh
    在master上设置,添加授权:
    export HDFS_NAMENODE_USER=“root”
    export HDFS_DATANODE_USER=“root”
    export HDFS_SECONDARYNAMENODE_USER=“root”
    export YARN_RESOURCEMANAGER_USER=“root”
    export YARN_NODEMANAGER_USER=“root”

在这里插入图片描述

拷贝文件到其他节点:
scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

-> 再重复2步骤,通过jps查看进程

  1. 关闭防火墙

(对所有节点,可以考虑在克隆之前完成)

systemctl status firewalld.service

systemctl stop firewalld.service & systemctl disable firewalld.service

最后在浏览器输入:主机的IP地址:50070(192.168.174.200)
在这里插入图片描述
以上是本人在配置hadoop遇到的部分问题以及解决办法,希望对大家有帮助

文章来自cqmu

  • 5
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值