hadoop中live nodes有三个，但datanode只显示一个

渲染ゞ笔墨情14

已于 2024-03-04 11:14:36 修改

阅读量2.6k

点赞数 5

文章标签： hadoop hdfs 大数据

于 2022-11-02 12:47:35 首次发布

本文链接：https://blog.csdn.net/weixin_55784925/article/details/127649445

版权

hadoop集群配置问题：

（1）我一开始配置出现的问题是live nodes显示有三个，但datanode没有显示，或者只显示一个

没有显示的问题：
原因：这是多次格式化的问题
解决办法：1-删除的创建数据和临时文件夹
删除data/hadoop下的tep文件和namenode文件（网上删除方法很多，一点更要删除文件目录）

2-1.创建数据和临时文件夹

Master node:

mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode

Other nodes:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/datanode

或者在master节点shell :
ssh node1 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node2 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”
ssh node3 “mkdir -p /data/hadoop/tmp & mkdir -p /data/hadoop/datanode”

2-2. 分发到每个节点
scp -r /opt/hadoop-3.1.4/ node1:/opt/
scp -r /opt/hadoop-3.1.4/ node2:/opt/
scp -r /opt/hadoop-3.1.4/ node3:/opt/

2-3. 格式化 HDFS
在master上面：
cd /opt/hadoop-3.1.4
cd bin
./hdfs namenode -format demo

（2）hadoop中live nodes有三个，但datanode只显示一个的问题
在这里插入图片描述

原因：主机名重复
方法修改主机名：(到每一个主机上面执行下面的命令)
hostnamectl set-hostname master
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
修改完成后都要输入reboot重启

vi /etc/sysconfig/network
输入： HOSTNAME=master/node1/node2/node3
（这种方式修改的主机名不可以，必须用上面一种方式修改，我一开始就是这样修改主机名的，显示只有一个datanode，这种方式可以正常切换主机，但是主机名却没有跟着切换）

主机名修改完成后，可以开始启动了

启动集群
在master上操作，cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin)，注意启动顺序：

[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver

报错：设置hadoop-env.sh
/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh
在master上设置，添加授权：
export HDFS_NAMENODE_USER=“root”
export HDFS_DATANODE_USER=“root”
export HDFS_SECONDARYNAMENODE_USER=“root”
export YARN_RESOURCEMANAGER_USER=“root”
export YARN_NODEMANAGER_USER=“root”

在这里插入图片描述

拷贝文件到其他节点：
scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

-> 再重复2步骤，通过jps查看进程