Linux环境下Hadoop3.4.0(最新版本)集群部署

 前置环境部署

Linux环境下Hadoop3.4.0（最新版本）单机部署-CSDN博客

参考

Linux环境下Hadoop3.2.0集群部署-CSDN博客

Apache Hadoop 3.4.0 – Hadoop Cluster Setup

虚拟机克隆

①关闭要被克隆的虚拟机

②找到克隆选项

③欢迎页面点击下一步

④克隆虚拟机，克隆自虚拟机的当前状态后，点击下一步

⑤设置创建完整克隆

⑥设置克隆的虚拟机名称和存储位置

⑦等待正在克隆

⑧点击关闭，完成克隆

克隆后名字分别为node12和node13

修改各主机配置文件

node12服务器上修改

• 修改主机名为node12

切换到root

su root

[root@localhost ~]# vi /etc/hostname

内容修改成node12

• 修改IP

su root

[root@localhost ~]# vi /etc/hostname

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.12
GATEWAY=192.168.1.2      
NETMASK=255.255.255.0
DNS1=192.168.1.2

重启系统：

reboot

此处可以使用mobaxterm连接测试

node13服务器上修改

• 修改主机名为node13

切换到root

su root
vi /etc/hostname

内容修改成node13

修改IP

[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

内容如下

TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="92080b37-6045-47a2-872c-a832939226f4"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.1.13
GATEWAY=192.168.1.2
NETMASK=255.255.255.0
DNS1=192.168.1.2

重启系统：

reboot

此处可以使用mobaxterm连接测试

集群SSH免密登录配置

.ssh文件夹下（~/.ssh）的文件功能解释

known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

ssh-copy-id node11
ssh-copy-id node12
ssh-copy-id node13

三个服务器上都用root账户执行上述脚本

修改配置文件执行集群间拷贝

修改node11上面的/usr/local/soft/hadoop-3.4.0/etc/hadoop/workers

vi /usr/local/soft/hadoop-3.2.0/etc/hadoop/workers

添加node12和hadoop13

集群拷贝

scp /usr/local/soft/hadoop-3.4.0/etc/hadoop/workers root@node12:/usr/local/soft/hadoop-3.4.0/etc/hadoop/
scp /usr/local/soft/hadoop-3.4.0/etc/hadoop/workers root@node13:/usr/local/soft/hadoop-3.4.0/etc/hadoop/

拷贝完成，检查另两台机器是否执行拷贝成功

格式化系统

将三个服务器上的/data全部删除（如果单机启动过必须执行此步骤，如果单机没有格式化及启动过，此步骤省略），各服务器上执行如下命令：

rm -fr /data

node11服务器上执行：

hdfs namenode -format

集群启动

执行

start-all.sh

从节点生成相关文件

停止：

stop-all.sh

集群查看

jps

HDFS Web页面

http://node11:9870/

YARN Web页面

http://node11:8088/

创建test文件夹: 

hadoop fs -mkdir /test

附常见问题：FAQ

1、如果集群正常启动，发现网页中没有子节点：

先关闭集群：

./sbin/stop-all.sh

查找主节点version中的集群ID,路径/data/hadoop/hdfs/name/current/

在两个从节点中找到从节点的version,路径：/data/hdfs/data/current/

clusterID从节点需要和主节点保持一致，如果从节点没有current文件夹，再自己检查配置和日志文件里面错误信息

2、启动都成功，网页中没有从节点

检查防火墙是否关闭

3、格式化失败，报权限问题

检查hadoop文件夹所有者是否当前用户，如果不是，执行命令

chown -R root /usr/local/soft/hadoop-3.2.0

4、如果某个端口号不起作用，命令查看端口启动情况

netstat -tlpn

5、整个文件夹拷贝

scp -r /usr/local/soft/hadoop-3.4.0 root@hadoop100:/usr/local/soft/hadoop-3.4.0
scp -r /usr/local/soft/hadoop-3.4.0 root@hadoop100:/usr/local/soft/hadoop-3.4.0