hadoop3.x--搭建hadoop高可用集群（HA模式）

运维小菜

已于 2022-05-02 11:22:57 修改

阅读量2.5k

点赞数 1

分类专栏： hadoop 文章标签： hadoop hdfs

于 2022-04-30 21:44:46 首次发布

本文链接：https://blog.csdn.net/lzq00277/article/details/124515486

版权

hadoop 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

hadoop高可用集群（HA模式）

一、安装前
二、HDFS
- 1. 配置hdfs
- 2. 初始化启动hdfs集群
三、MapReduce与Yarn
四、验证
- 1. 查看java进程
- 2. hdfs与yarn前台页面

一、安装前

1. 集群规划

hostname	ip	NN	JN	DN	ZKFC	ZK	RM	NM
hadoopHA01	192.168.10.201	yes	yes		yes
hadoopHA02	192.168.10.202	yes	yes	yes	yes	yes		yes
hadoopHA03	192.168.10.203		yes	yes		yes	yes	yes
hadoopHA04	192.168.10.204			yes		yes	yes	yes

2. 安装前配置

1）创建第一台虚拟机（hadoopHA01）：

虚拟机系统镜像：CentOS-7.5-x86_64-DVD-1804.iso
系统版本：centos7.5（GNU/Linux）
内存：5G
处理器：4U
硬盘：20G

[root@hadoopHA01 hadoop]# cat /etc/os-release
NAME="CentOS Linux"
VERSION="7 (Core)"
…………
[root@hadoopHA01 hadoop]# uname -a
Linux hadoopHA01 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
[root@hadoopHA01 hadoop]#  cat /proc/cpuinfo | grep processor | wc -l
4
[root@hadoopHA01 hadoop]# free -m
              total        used        free      shared  buff/cache   available
Mem:           3773         147        1548          11        2076        3283
Swap:           255           0         255
[root@hadoopHA01 hadoop]# lsblk | grep disk
sda      8:0    0   20G  0 disk

2）基本配置

网络

[root@hadoopHA01 hadoop]# cat  /etc/sysconfig/network-scripts/ifcfg-ens33
…………
IPADDR=192.168.10.201
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=192.168.10.2

修改主机名

[root@hadoopHA01 hadoop]# cat /etc/hostname
hadoopHA01

hosts文件，添加集群所有节点的ip/主机名映射

[root@hadoopHA01 hadoop]# cat /etc/hosts
…………

192.168.10.201 hadoopHA01
192.168.10.202 hadoopHA02
192.168.10.203 hadoopHA03
192.168.10.204 hadoopHA04

创建分发脚本

[root@hadoopHA01 opt]# cat /root/bin/xsync
#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoopHA02 hadoopHA03 hadoopHA04
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

3. 安装jdk与hadoop

传包
将jdk与hadoop安装包上传到新建的/opt/packages目录下

[root@hadoopHA01 hadoop]# mkdir /opt/packages/
[root@hadoopHA01 hadoop]# ll /opt/packages/
总用量 520600
-rw-r--r-- 1 root root 338075860 4月  30 16:57 hadoop-3.1.3.tar.gz
-rw-r--r-- 1 root root 195013152 4月  30 16:57 jdk-8u212-linux-x64.tar.gz

解压即安装
分别解压到新建的/opt/software目录下

[root@hadoopHA01 packages]# mkdir /opt/software/
[root@hadoopHA01 packages]# tar xvf jdk-8u212-linux-x64.tar.gz -C /opt/software/
[root@hadoopHA01 packages]# tar xvf hadoop-3.1.3.tar.gz -C /opt/software/

创建软连接

[root@hadoopHA01 software]# ln -s hadoop-3.1.3/ hadoop
[root@hadoopHA01 software]# ll
总用量 0
lrwxrwxrwx 1 root    root     13 4月  30 17:46 hadoop -> hadoop-3.1.3/
drwxr-xr-x 9 atguigu atguigu 149 9月  12 2019 hadoop-3.1.3
drwxr-xr-x 7      10     143 245 4月   2 2019 jdk1.8.0_212

配置环境变量
新建/etc/profile.d/my_env.sh文件写入以下内容

[root@hadoopHA01 packages]# cat /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/software/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

source使环境变量生效

[root@hadoopHA01 packages]# source /etc/profile

验证安装

[root@hadoopHA01 packages]# java -version
java version "1.8.0_212"
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)
[root@hadoopHA01 packages]# hadoop version
Hadoop 3.1.3
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/software/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

4. 克隆虚拟机与互信配置

从配置好的hadoopHA01克隆出hadoopHA02、hadoopHA03、hadoopHA04，分别修改ip与hostname，重启

以hadoopHA02为例：

[root@hadoopHA02 ~]# ifconfig ens33
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.10.202  netmask 255.255.255.0  broadcast 192.168.10.255
…………

[root@hadoopHA02 ~]# hostname
hadoopHA02

互信配置

原则：
hadoopHA01 与所有节点免密方便管理集群
hadoopHA02 与各zk节点免密方便管理zk
nn主备之间需要免密

hadoopHA01 节点所有节点免密

[root@hadoopHA01 hadoop]# history | grep ssh
  289  ssh-keygen -t rsa
  290  ssh-copy-id hadoopHA02
  291  ssh-copy-id hadoopHA03
  292  ssh-copy-id hadoopHA04
  296  ssh-copy-id hadoopHA01

hadoopHA02与本机以及hadoopHA01 的免密

[root@hadoopHA02 .ssh]# history | grep ssh
  294  ssh-keygen -t rsa
  295  ssh-copy-id hadoopHA02
  301  ssh-copy-id hadoopHA01
  302  ssh-copy-id hadoopHA03
  303  ssh-copy-id hadoopHA04

5. 搭建zookeeper集群

1）先配置hadoopHA02 单机

上传zk安装包到hadoopHA02 ，解压，创建软连接

[root@hadoopHA02 zookeeper]# history
306  mkdir pacakges
307  cd pacakges/
309  tar xvf apache-zookeeper-3.5.7-bin.tar.gz -C ../software/
312  ln -s apache-zookeeper-3.5.7-bin/ zookeeper

zk配置：

cd zookeeper/conf/
[root@hadoopHA02 zookeeper]# cat conf/zoo.cfg
…………
dataDir=/opt/software/zookeeper/data
# the port at which the clients will connect
clientPort=2181
server.1=hadoopHA02:2888:3888
server.2=hadoopHA03:2888:3888
server.3=hadoopHA04:2888:3888
…………

添加环境变量

[root@hadoopHA02 zookeeper]# tail -5 /etc/profile.d/my_env.sh

#ZOOkEEPER
export ZOOKEEPER_HOME=/opt/software/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@hadoopHA02 zookeeper]# source /etc/profile

在zoo.cfg中dataDir指定的目录下添加mid文件

[root@hadoopHA02 zookeeper]# cat /opt/software/zookeeper/data/myid
1

2）分发到hadoopHA03、hadoopHA04

[root@hadoopHA02 software]# cd /opt/software/
[root@hadoopHA02 software]# xsync apache-zookeeper-3.5.7-bin/
[root@hadoopHA02 software]# xsync zookeeper

hadoopHA03、hadoopHA04分别修改myid文件

[root@hadoopHA02 software]# xsync /opt/software/hadoop/zk
[root@hadoopHA03 zk]# cat /opt/software/zookeeper/data/myid
2
[root@hadoopHA04 zk]# cat /opt/software/zookeeper/data/myid
3

3）启动zk集群
三个zk节点分别启动zk，以hadoopHA04为例

[root@hadoopHA04 data]# zkServer.sh start

二、HDFS

1. 配置hdfs

core-site.xml

    <property>
      <!-- 配置hadoop使用的hdfs-->
      <name>fs.defaultFS</name>
      <value>hdfs://hacluster</value>
    </property>

     <property>
       <!-- 配置zkfc使用的zookeeper地址-->
       <name>ha.zookeeper.quorum</name>
       <value>hadoopHA02:2181,hadoopHA03:2181,hadoopHA04:2181</value>
     </property>

hdfs-site.xml

    <property>
      <!-- namenode数据存放位置-->
      <name>dfs.namenode.data.dir</name>
      <value>/opt/software/hadoop/hadata/dfs/name</value>
    </property>
    
    <property>
      <!-- datanode数据存放位置-->
      <name>dfs.datanode.data.dir</name>
      <value>/opt/software/hadoop/hadata/dfs/data</value>
    </property>

    <property>
      <!-- journalnode数据存放位置 -->
      <name>dfs.journalnode.edits.dir</name>
      <value>/opt/software/hadoop/hadata/dfs/journal</value>
    </property>
    
    <property>
      <!-- 配置hdfs的名字-->
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    
    <property>
      <!-- 配置hdfs的名字-->
      <name>dfs.nameservices</name>
      <value>hacluster</value>
    </property>

    <property>
      <!-- 配置hdfs的nn，这里只是一个名字，下面会定义每个nn与物理主机的映射-->
      <name>dfs.ha.namenodes.hacluster</name>
      <value>nn1,nn2</value>
    </property>


    <property>
      <!-- 配置nn，与物理主机的映射-->
      <name>dfs.namenode.rpc-address.hacluster.nn1</name>
      <value>hadoopHA01:8020</value>
    </property>
    <property>
      <!-- 配置nn，与物理主机的映射-->
      <name>dfs.namenode.rpc-address.hacluster.nn2</name>
      <value>hadoopHA02:8020</value>
    </property>

    <property>
      <!-- 配置nn的前台访问地址-->
      <name>dfs.namenode.http-address.hacluster.nn1</name>
      <value>hadoopHA01:9870</value>
    </property>
    <property>
      <!-- 配置nn的前台访问地址-->
      <name>dfs.namenode.http-address.hacluster.nn2</name>
      <value>hadoopHA02:9870</value>
    </property>

    <property>
      <!-- qjournal为协议名，后面ip:port是在配置journalnode的主机，hacluster是jn上的目录-->
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoopHA02:8485;hadoopHA03:8485;hadoopHA04:8485/hacluster</value>
    </property>
    

    <!-- 代理配置 -->
    <property>
      <name>dfs.client.failover.proxy.provider.hacluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <property>
      <!-- 免密方式 -->
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>

    <property>
      <!-- 免密密钥位置 -->
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
    </property>
    

     <property>
       <!-- 自动故障转移，true时在启动nn的时候自动启动zkfc（与nn同节点） -->
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
    </property>

2. 初始化启动hdfs集群

启动所有journalnode
以hadoopHA04 为例

[root@hadoopHA04 ~]# hdfs --daemon start journalnode

任选一个namenode格式化，并启动namenode，第一个启动为active节点

[root@hadoopHA01 sbin]# hdfs namenode -format
[root@hadoopHA01 sbin]# hdfs --daemon start namenode

另一个namenode同步主namenode，为standby节点

[root@hadoopHA02 current]# hdfs namenode -bootstrapStandby

设置集群用户
将以下内容加入到start-dfs.sh stop-dfs.sh文件开头

HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

格式化zkfc,启动hdfs集群

[root@hadoopHA01 sbin]# hdfs zkfc -formatZK
[root@hadoopHA01 sbin]# start-dfs.sh

三、MapReduce与Yarn

1. 配置MapReduce

[hdfsuser01@hadoopHA01 hadoop]$ cat mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
</configuration>
    <property>
	    <!-- 指定MapReduce运行在Yarn上 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
	    <!-- 指定mr的classpath -->
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

<!-- 分发配置到其他节点-->
[hdfsuser01@hadoopHA01 hadoop]$ xsync mapred-site.xml

2. 配置yarn

[hdfsuser01@hadoopHA01 hadoop]$ cat yarn-site.xml
<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>

    <property>
      <!-- 开启ha模式 -->
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>

    <property>
      <!-- 集群名称，作为zk上RN抢锁的路径 -->
      <name>yarn.resourcemanager.cluster-id</name>
      <value>yarncluster</value>
    </property>

    <property>
      <!-- RM节点名称 -->
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>yarn03,yarn04</value>
    </property>

    <property>
      <!-- RM节点的主机名 -->
      <name>yarn.resourcemanager.hostname.yarn03</name>
      <value>hadoopHA03</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.yarn04</name>
      <value>hadoopHA04</value>
    </property>

    <property>
      <!-- RM前台访问地址 -->
      <name>yarn.resourcemanager.webapp.address.yarn03</name>
      <value>hadoopHA03:8088</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address.yarn04</name>
      <value>hadoopHA04:8088</value>
    </property>

    <property>
      <!-- zk节点地址 -->
      <name>hadoop.zk.address</name>
      <value>hadoopHA02:2181,hadoopHA03:2181,hadoopHA04:2181</value>
    </property>
</configuration>

<!-- 分发配置到其他节点-->
[hdfsuser01@hadoopHA01 hadoop]$ xsync yarn-site.xml

3. 启动yarn

在hadoopHA01上执行：

[hdfsuser01@hadoopHA01 hadoop]$ start-yarn.sh
Starting resourcemanagers on [ hadoopHA03 hadoopHA04]
Starting nodemanagers

四、验证

1. 查看java进程

hadoopHA01：

[hdfsuser01@hadoopHA01 hadoop]$ jps | grep -v Jps
3105 DFSZKFailoverController
2763 NameNode

hadoopHA02：

[root@hadoopHA02 data]# jps | grep -v Jps
2802 DFSZKFailoverController
1443 QuorumPeerMain
2697 JournalNode
8410 NodeManager
2589 DataNode
2763 NameNode

hadoopHA03：


[root@hadoopHA03 ~]# jps | grep -v Jps
1440 QuorumPeerMain
1910 DataNode
7421 ResourceManager
2014 JournalNode
7502 NodeManager

hadoopHA04：

[root@hadoopHA04 ~]# jps | grep -v Jps
2005 JournalNode
7292 ResourceManager
1901 DataNode
7373 NodeManager
1439 QuorumPeerMain

2. hdfs与yarn前台页面

hadoopHA01：hdfs-nanenode
hadoopHA02:hdfs-nanenode
hadoopHA03:yarn-resourcemanager
hadoopHA04:yarn-resourcemanager

运维小菜

关注

1
点赞
踩
24

收藏

觉得还不错? 一键收藏
打赏
0
评论
hadoop3.x--搭建hadoop高可用集群（HA模式）

HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群1、集群规划hostnameipNNJNDNZKFCZKhadoopHA01192.168.10.201yesyesyeshadoopHA02192.168.10.202yesyesyesyesyeshadoopHA03192.168.10.203yesyesyes
复制链接

扫一扫