Hadoop HA 搭建

已于 2022-06-26 16:48:16 修改
阅读量3.1k 收藏 19
点赞数 4
分类专栏： 环境搭建 文章标签： hadoop java hdfs
于 2022-05-03 13:02:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013570834/article/details/124553889
版权

前言

环境介绍

虚拟机软件：VirtualBox

Linux 发行版本：Ubuntu 20.04.4

虚拟机核心数：1 core

虚拟机内存：2 GB

JDK 版本：1.8.0_202

Hadoop 版本：3.2.3

ZK 版本：3.8.0

实验机搭建

HA 概述

HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA。

DN 和 NM 本身就会起多个，所以不存在单点

2NN 用以整合 Image 和 Edit，做 HA 后，处于 standby 的 NN 也会整合 Image 和 Edit，所以 2NN 就不需要了

HA 原理就是额外起一台机子作冗余备份，当主机挂了，就让备机顶上。按照该想法会存在以下问题：

  1. 主备间如何同步 Edit？
  2. 如何检测主机下线？
  3. 如何做故障转移？

对于问题一：Hadoop 引入 JournalNode 解决。

对于问题二：使用 ZK 来检测机器状态变化 。

对于问题三：Hadoop 引入 DFSZKFailoverController 解决。

引入新的部件，为了防止这些也是是单点的，所以也得给他们起多个。

集群规划

按照以上分析，便有以下集群规划

node01node02node03
NameNodeNameNode
DFSZKFailoverControllerDFSZKFailoverController
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKZKZK
ResourceManagerResourceManager
NodeManagerNodeManagerNodeManager

JDK 环境变量

$ vim /etc/profile
# 拷贝以下内容
export JAVA_HOME=/opt/jdk1.8.0_202
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 刷新配置
$ source /etc/profile

$ java -version # 出现以下结果，表示配置成功
java version "1.8.0_202"
Java(TM) SE Runtime Environment (build 1.8.0_202-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode)

# 配置成功后分发
$ xsync /opt/jdk1.8.0_202
$ xsync /etc/profile

分发后，记得给所有机子刷新配置。后续不在做特殊说明。

ZK 集群搭建

ZK 环境变量

$ vim /etc/profile
# 拷贝以下内容
export ZK_HOME=/opt/zookeeper-3.8.0
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin

$ xsync /opt/zookeeper-3.8.0
$ xsync /etc/profile

修改 zoo.cfg

$ cd /opt/zookeeper-3.8.0
$ mkdir zkData
$ cd conf
$ mv zoo_sample.cfg zoo.cfg
$ vim zoo.cfg

dataDir=/opt/zookeeper-3.8.0/zkData
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

$ xsync /opt/zookeeper-3.8.0/conf/zoo.cfg

配置 myid：填写上面 server.x 中对应的数字 x，如：1、2、3。每个机子都不一样

$ vim /opt/zookeeper-3.8.0/zkData/myid

ZK 集群启动

$ xcall zkServer.sh start
$ xcall zkServer.sh status

检查是否启动成功

$ xcall zkServer.sh status
---------------- node01 ----------------
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.8.0/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
---------------- node02 ----------------
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.8.0/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
---------------- node03 ----------------
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.8.0/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
--------------- complete ---------------

HDFS HA 搭建

Hadoop 环境变量

$ vim /etc/profile
# 拷贝以下内容
export HADOOP_HOME=/opt/hadoop-3.2.3
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

$ xsync /opt/hadoop-3.2.3
$ xsync /etc/profile

修改 core-site.xml

$ vim /opt/hadoop-3.2.3/etc/hadoop/core-site.xml

<configuration>
<!-- 把两个NameNode）的地址组装成一个集群 cluster -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://cluster</value>
  </property>

  <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-3.2.3/data/tmp</value>
  </property>
  
  <!-- 指定ZK -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>node01:2181,node02:2181,node03:2181</value>
  </property>
</configuration>

$ xsync /opt/hadoop-3.2.3/etc/hadoop/core-site.xml

修改 hdfs-site.xml

node01node02node03
NameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
$ vim /opt/hadoop-3.2.3/etc/hadoop/hdfs-site.xml

<configuration>
<!-- 完全分布式集群名称 -->
  <property>
    <name>dfs.nameservices</name>
    <value>cluster</value>
  </property>

  <!-- 集群中NameNode节点都有哪些 -->
  <property>
    <name>dfs.ha.namenodes.cluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- nn1的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.cluster.nn1</name>
    <value>node01:9000</value>
  </property>

  <!-- nn2的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.cluster.nn2</name>
    <value>node02:9000</value>
  </property>

  <!-- nn1的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.cluster.nn1</name>
    <value>node01:50070</value>
  </property>

  <!-- nn2的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.cluster.nn2</name>
    <value>node02:50070</value>
  </property>

  <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node01:8485;node02:8485;node03:8485/cluster</value>
  </property>

  <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>

  <!-- 使用隔离机制时需要ssh无秘钥登录-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>~/.ssh/id_rsa</value>
  </property>

  <!-- 声明journalnode服务器存储目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop-3.2.3/data/jn</value>
  </property>

  <!-- 关闭权限检查-->
  <property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
  </property>

  <!-- 访问代理类：client，cluster，active配置失败自动切换实现方式-->
  <property>
    <name>dfs.client.failover.proxy.provider.cluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 自动故障转移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

$ xsync /opt/hadoop-3.2.3/etc/hadoop/hdfs-site.xml

修改 hdfs-env.sh

$ vim /opt/hadoop-3.2.3/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/jdk1.8.0_202
$ xsync /opt/hadoop-3.2.3/etc/hadoop/hadoop-env.sh

修改 start-dfs.sh 和 stop-dfs.sh

$ vim /opt/hadoop-3.2.3/sbin/start-dfs.sh # stop-dfs.sh 同理
# 开头添加以下内容 
HDFS_DATANODE_USER=root
HDFS_NAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

$ xsync /opt/hadoop-3.2.3/sbin/start-dfs.sh

HDFS 集群启动

所有节点

$ hadoop-daemon.sh start journalnode
$ hadoop-daemon.sh start datanode

node01

$ hdfs namenode -format
$ hadoop-daemon.sh start namenode

node02

$ hdfs namenode -bootstrapStandby
$ hadoop-daemon.sh start namenode

HA 自动切换

启用自动切换

  1. 关闭 hdfs 服务 stop-dfs.sh
  2. 保证 ZK 集群已启动，初始化 HA 在 ZK 的状态 hdfs zkfc -formatZK
  3. 启动 hdfs 服务 start-dfs.sh
  4. 为 NN 所在节点启动 DFSZK Failover Controller， hadoop-daemon.sh start zkfc。先启动的为 active

测试 HA 自动切换

$ hdfs haadmin -getServiceState nn1
standby
$ hdfs haadmin -getServiceState nn2
active
$ jps # 因为nn2是活跃的，所以杀掉nn2，查看是否自动切换为nn1
3684 QuorumPeerMain
19748 DFSZKFailoverController
19334 NameNode
19847 DataNode
19207 JournalNode
19961 Jps
$ kill -9 19334
$ hdfs haadmin -getServiceState nn1
active

YARN HA 搭建

修改 yarn-site.xml

node01node02node03
ResourceManagerResourceManagerr
NodeManagerNodeManagerNodeManage
$ vim /opt/hadoop-3.2.3/etc/hadoop/yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!--启用resourcemanager ha-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!--声明两台resourcemanager的地址-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster-yarn1</value>
  </property>

  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node01</value>
  </property>

  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node03</value>
  </property>

  <!--指定zookeeper集群的地址--> 
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node01:2181,node02:2181,node03:2181</value>
  </property>

  <!--启用自动恢复--> 
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
  <property>
    <name>yarn.resourcemanager.store.class</name> 
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
</configuration>

$ xsync /opt/hadoop-3.2.3/etc/hadoop/yarn-site.xml

修改 start-yarn.sh 和 stop-yarn.sh

$ vim /opt/hadoop-3.2.3/sbin/start-yarn.sh # stop-yarn.sh 同理
# 开头添加以下内容
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root

$ xsync /opt/hadoop-3.2.3/sbin/start-yarn.sh

YARN 集群启动

$ start-yarn.sh
# 以下为YARN HA自动切换测试
$ yarn rmadmin -getServiceState rm1
standby
$ yarn rmadmin -getServiceState rm2
active
$ jps # 因为rm2是活跃的，所以杀掉rm2，查看是否自动切换为rm1
11264 DataNode
12852 JournalNode
16040 ResourceManager
16201 NodeManager
16281 Jps
3167 QuorumPeerMain
$ kill -9 16040
$ yarn rmadmin -getServiceState rm1
active

在其余节点使用 yarn --daemon start nodemanager 启动 Node Manager

配置历史服务器

修改 mapred-site.xml

$ vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

添加以下内容

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>node01:10020</value>
</property>

<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>node01:19888</value>
</property>

<property>
  <name>mapreduce.jobhistory.done-dir</name>
  <value>/history/done</value>
</property>

<property>
  <name>mapreduce.jobhistory.intermediate-done-dir</name>
  <value>/history/done_intermediate</value>
</property>

$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

修改 yarn-site.xml

$ vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

添加以下内容

<!--开启日志聚集功能-->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!--设置日志聚集服务器地址-->
<property>
  <name>yarn.log.server.url</name>
  <value>http://node01:19888/jobhistory/logs</value>
</property>

<!--设置日志保留时间为7天-->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

启动历史服务器

$ stop-all.sh
$ start-all.sh
$ mr-jobhistory-daemon.sh start historyserver

最终验证

最终效果如下，说明 Hadoop HA 启动成功

$ xcall jps
---------------- node01 ----------------
2304 DataNode
2549 JournalNode
2789 DFSZKFailoverController
3239 ResourceManager
2137 NameNode
4426 Jps
3419 NodeManager
1390 QuorumPeerMain
---------------- node02 ----------------
1376 QuorumPeerMain
2258 DFSZKFailoverController
1910 NameNode
3130 DataNode
3595 Jps
3356 NodeManager
2063 JournalNode
---------------- node03 ----------------
3351 NodeManager
1369 QuorumPeerMain
1916 JournalNode
3820 Jps
2078 ResourceManager
3663 DataNode
--------------- complete ---------------
不搞数学的汤老师
关注
  • 4
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8755
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1606
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
2024年大数据最全hadoop(3) 搭建hadoop-HA_hadoop3 ha(2)
最新发布
2401_84182906的博客
05-02 622
在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点。#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点。#将/etc/hostname的文本修改为对应服务器名（master01，node01，node02）#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行。#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间。
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1829
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
Hadoop HA 高可用集群搭建
weixin_52356946的博客
01-10 1059
Hadoop HA高可用集群搭建
hadoop 3.2.1集群高可用(HA)搭建
半斤米粉闯天下的博客
02-19 3610
规划 共三台机器，目标是搭建一套配置了HA的双副本hadoop集群，关于zkfc，journalnode的详细原理不再赘述，集群详细规划如下： namenode datanode journalnode ZKFC master * * * slave1 * * * * slave1 * * * 出于简单方便，我个人并没有使用zookeeper集群，而是在docke...
hadoopHA搭建资源包
04-01
总的来说，这个资源包提供了一套完整的Hadoop HA搭建基础，涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试，你可以构建一个可靠的Hadoop集群，为大数据处理提供稳定的平台。在实际操作中，还需要...
Hadoop HA 搭建（附问题解决方法）
10-20
资源中具体对Hadoop HA平台搭建过程中出现的问题给出了相应的解决办法，图文结合，适合新手学习来用，如果遇到其他，欢迎交流学习
Hadoop HA搭建脚本资料（必读）
06-10
本文将详细阐述如何通过脚本搭建Hadoop HA环境。 首先，理解Hadoop HA的核心组件： 1. **NameNode HA**：Hadoop的元数据管理服务，HA模式下有主备两个NameNode，即Active NameNode和Standby NameNode。它们共享元...
Hadoop HA搭建笔记和配置文件
11-10
本笔记将深入探讨如何搭建Hadoop HA环境，并分享配置文件及其详细解读。 首先，我们要理解Hadoop HA的基本概念。HA主要涉及到两个关键组件：NameNode和ResourceManager。NameNode是HDFS的元数据管理节点，而...
hadoop-HA搭建
08-14
这个文档是本人搭建成功的步骤，能正常使用，里面配置了首先自己要步骤进行
Hadoop 3.2.1 HA 搭建
feng86gang的专栏
05-16 186
环境准备 一共4台虚拟机，模拟HA环境，供学习用 IP ZK NM RM DN Vm1 192.168.31.150 Y Y Y Vm3 192.168.31.152 Y Y Y Vm4 192.168.31.153 Y Y Y Vm5 192.168.31.154 Y Y Y 所需软件 jdk 1.8...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop-HA模式（详解）
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
【高可用Hadoop HA配置】
pblh123的专栏
09-05 1503
熟悉Hadoop的HA环境搭建，理解高可用模式
Hadoop的HA高可用环境搭建
weixin_39033058的博客
06-09 595
准备工作 修改主机名 [~]hostname查看主机名 [~]vim/etc/sysconfig/network 修改hostsip对应主机名 [~]vim/etc/hosts 关闭防火墙 [~] service iptables stop 配置ssh免密登录 [~]ssh-keygen -t rsa 同步时间 [~]date查看时间 [~] yum install ntpdate [~]ntpdate cn.pool.ntp.org ...
ha环境搭建
weixin_51737266的博客
11-06 1134
ha搭建无本人许可禁止转载
Hadoop集群搭建完整HA高可用搭建教程（详细）
qq_41649342的博客
06-15 1116
Hadoop高可用安装详细步骤（基于Linux CentOS 6.5） 前言 以下操作均在已装配好四台Centos Linux，并且可以ping 通外网以及四台主机之间的连接。 （这里是在VMware虚拟机下的Linux CentOS 6.5安装的Hadoop2.6.5） 什么是Hadoop高可用（HA）？ 在HADOOP1.0时代，整个集群中仅有一台NameNode结点，如果该结点丢失或数据发生损坏，会对整个集群造成不可恢复的损失，为了解决这一问题，社区研发出了SecondaryNamenode用以备份
Hadoop3.0集群安装（包含HDFS HA配置）
u011563666的博客
03-07 2742
hadoop3.0出来了，想尝试一下新版本的特性及mapreduce性能提升，以下以6台机器作为hadoop集群，机器主机名为：hadoop1、hadoop2、hadoop3、hadoop4、hadoop5、hadoop6，其中hadoop1-3作为namenode节点，hadoop4-6作为datanode节点。   一、前提条件 1、6台机器上都安装了jdk，并配置好了jdk环境变量（建...
hadoopHA搭建
10-01
hadoopHA搭建分为三个步骤。首先，需要在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`hdfs-site.xml`文件，将`fs.defaultFS`的值设置为`hdfs://cluster1`，将`hadoop.tmp.dir`的值设置为`/export/servers/hadoop-2.6.0-cdh5.14.0/HAhadoopDatas/tmp`，将`ha.zookeeper.quorum`的值设置为`node01:2181,node02:2181,node03:2181`。然后，在同样的目录下，先复制`mapred-site.xml.template`为`mapred-site.xml`，然后修改`mapred-site.xml`文件，将`mapreduce.framework.name`的值设置为`yarn`。最后，在`hadoop-2.6.0-cdh5.14.0/etc/hadoop`目录下修改`yarn-site.xml`文件，根据需求进行配置。 完成上述步骤后，即可完成hadoopHA的搭建。可以通过以下指令来查看zookeeper节点信息：`get /hadoop-ha/cluster1/ActiveStandbyElectorLock`。同时，可以使用以下指令来测试集群的工作状态：`hdfs dfsadmin -report`，`hdfs haadmin -getServiceState nn1`，`./hadoop-daemon.sh start namenode`，`./hadoop-daemon.sh start zkfc`。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值