Hadoop 3.X HA集群部署

准备工作

1、确认各个服务器网络是否互通、时间是否同步

2、确认各个节点部署那些组件

ip地址	host名	部署组件
192.168.190.130	h202406131	NameNode ResourceManager QuorumPeerMain JournalNode DFSZKFailoverController JobHistoryServer
192.168.190.131	h202406132	NameNode ResourceManager QuorumPeerMain JournalNode DFSZKFailoverController JobHistoryServer
192.168.190.132	h202406133	QuorumPeerMain JournalNode DataNode NodeManager
192.168.190.133	h202406134	DataNode NodeManager
192.168.190.134	h202406135	DataNode NodeManager
192.168.190.135	h202406136	DataNode NodeManager
192.168.190.136	h202406137	DataNode NodeManager
192.168.190.137	h202406138	DataNode NodeManager

3、配置各个节点的  /etc/hosts

4、配置用户的免密登录

5、确认各个组件版本

Hadoop	3.3.1
zookeeper	3.7.0
jdk	1.8

6、确认安装目录，并配置环境变量

安装jdk

# 安装java
yum install -y java-1.8.0-openjdk.x86_64


# 配置环境变量
vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64/jre
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

# 验证安装
java -version

安装zookeerper

下载路径：http://archive.apache.org/dist/zookeeper/

cd /data
tar -xf zookeeper-3.7.0.tar.gz
mv zookeeper-3.7.0 zookeeper

安装hadoop

下载命令：

 wget  https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gz 

启动步骤

1、各个zk节点启动zk

zk启动命令：./bin/zkServer.sh start

zk状态查询命令：./bin/zkServer.sh status

2、各个journalnode节点启动journalnode

启动命令：hadoop-daemon.sh start journalnode

3、在nn1节点上格式化、并启动namenode

初始化namenode：hdfs namenode -format

启动namenode：hadoop-deaemon.sh start namedoe

4、在nn2节点上格同步nn1的节点信息并启动namenode

同步nn1：hdfs namenode -bootstarpStandby

启动namenode：hadoop-deaemon.sh start namedoe

5、关闭nn1和nn2的namenode并初始化HA在zk中的状态

初始化zkfc：hdfs zkfc -formatZK

6、nn1启动历史服务器

JobHistoryServer启动：mr-jobhistory-daemon.sh start JobHistoryServer

7、nn1和nn2启动zkfc

启动zkfc：hadoop-deaemon.sh start zkfc

8、datanode节点启动datanode服务

datanode启动：hadoop-deaemon.sh start datanode

9、nn1和nn2节点启动 resourcemanager

resourcemanager启动：yarn-daemon.sh start resourcemanager

10、NodeManager节点启动NodeManager服务

NodeManager启动：yarn-daemon.sh start nodemanager