HDFS HA 高可用

最新推荐文章于 2024-12-10 13:12:31 发布
最新推荐文章于 2024-12-10 13:12:31 发布
阅读量711 收藏 1
点赞数 1
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35641192/article/details/81153854
版权

1 HA 概述
1 所谓 HA（high available）， 即高可用（7*24 小时不中断服务） 。

2 实现高可用最关键的策略是消除单点故障。 HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA。

3 Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF） 。

4 NameNode 主要在以下两个方面影响 HDFS 集群
NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启
NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用
HDFS HA 功能通过配置 Active/Standby 两个 nameNodes 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

2 HDFS-HA 工作机制
通过双 namenode 消除单点故障

1 HDFS-HA 工作要点
1）元数据管理方式需要改变：
内存中各自保存一份元数据；
Edits 日志只有 Active 状态的 namenode 节点可以做写操作；
两个 namenode 都可以读取 edits；
共享的 edits 放在一个共享存储中管理（qjournal 和 NFS 两个主流实现）；

2）需要一个状态管理功能模块
实现了一个 zkfailover，常驻在每一个 namenode 所在的节点，每一个 zkfailover 负责监控自己所在 namenode 节点，利用 zk 进行状态标识，当需要进行状态切换时，由zkfailover 来负责切换，切换时需要防止 brain split 现象的发生。

3） 必须保证两个 NameNode 之间能够 ssh 无密码登录。

4）隔离（Fence） ， 即同一时刻仅仅有一个 NameNode 对外提供服务

2 HDFS-HA 自动故障转移工作机制
前面学习了使用命令 hdfs haadmin -failover 手动进行故障转移，在该模式下，即使现役NameNode 已经失效，系统也不会自动从现役 NameNode 转移到待机 NameNode，下面学习如何配置部署 HA 自动进行故障转移。自动故障转移为 HDFS 部署增加了两个新组件：
ZooKeeper 和 ZKFailoverController（ZKFC）进程。 ZooKeeper 是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。 HA 的自动故障转移依赖于ZooKeeper 的以下功能：
1） 故障检测： 集群中的每个 NameNode 在 ZooKeeper 中维护了一个持久会话，如果机器崩溃， ZooKeeper 中的会话将终止， ZooKeeper 通知另一个 NameNode 需要触发故障转移。

2） 现役 NameNode 选择： ZooKeeper 提供了一个简单的机制用于唯一的选择一个节点为 active 状态。如果目前现役 NameNode 崩溃，另一个节点可能从 ZooKeeper 获得特殊的排外锁以表明它应该成为现役 NameNode。

ZKFC 是自动故障转移中的另一个新组件，是 ZooKeeper 的客户端，也监视和管理NameNode 的状态。每个运行 NameNode 的主机也运行了一个 ZKFC 进程， ZKFC负责：

1） 健康监测： ZKFC 使用一个健康检查命令定期地 ping 与之在相同主机的 NameNode，只要该 NameNode 及时地回复健康状态， ZKFC 认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

2） ZooKeeper 会话管理： 当本地 NameNode 是健康的， ZKFC 保持一个在 ZooKeeper中打开的会话。如果本地 NameNode 处于 active 状态， ZKFC 也保持一个特殊的 znode 锁，该锁使用了 ZooKeeper 对短暂节点的支持，如果会话终止，锁节点将自动删除。

3） 基于 ZooKeeper 的选择： 如果本地 NameNode 是健康的，且 ZKFC 发现没有其它的节点当前持有 znode 锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地 NameNode 为 active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役 NameNode，然后本地 NameNode 转换为 active 状态。

这里写图片描述

3 HDFS-HA 集群配置
1 环境准备
1）修改 IP
2）修改主机名及主机名和 IP 地址的映射
3）关闭防火墙
4） ssh 免密登录
5）安装 JDK，配置环境变量等

2 规划集群

hadoop102hadoop103hadoop104
NameNodeNameNode-
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKZKZK
-ResourceManager-
NodeManagerNodeManagerNodeManager

3 配置 Zookeeper 集群
集群规划
在 hadoop102、 hadoop103 和 hadoop104 三个节点上部署 Zookeeper。

4 配置 HDFS-HA 集群
1） 官方地址： http://hadoop.apache.org/
2） 在 opt 目录下创建一个 ha 文件夹
mkdir ha
3） 将/opt/software/下的 hadoop-2.7.2 拷贝到/opt/ha 目录下
cp -r hadoop-2.7.2/ /opt/ha/
4） 配置 hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5） 配置 core-site.xml

<configuration>
    <!-- 把两个 NameNode）的地址组装成一个集群 mycluster -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定 hadoop 运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/ha/hadoop-2.7.2/data/tmp</value>
    </property>
</configuration>

6） 配置 hdfs-site.xml

<configuration>
    <!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!-- 集群中 NameNode 节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop102:9000</value>
    </property>
    <!-- nn2 的 RPC 通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop103:9000</value>
    </property>
    <!-- nn1 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop102:50070</value>
    </property>
    <!-- nn2 的 http 通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop103:50070</value>
    </property>
    <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
    </property>
    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!-- 使用隔离机制时需要 ssh 无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/atguigu/.ssh/id_rsa</value>
    </property>
    <!-- 声明 journalnode 服务器存储目录-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/ha/hadoop-2.7.2/data/jn</value>
    </property>
    <!-- 关闭权限检查-->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
    </property>
    <!-- 访问代理类： client， mycluster， active 配置失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
</configuration>

7） 拷贝配置好的 hadoop 环境到其他节点

5 启动 HDFS-HA 集群
1） 在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务：
sbin/hadoop-daemon.sh start journalnode

2）在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3）在[nn2]上，同步 nn1 的元数据信息：
bin/hdfs namenode -bootstrapStandby

4）启动[nn2]：
sbin/hadoop-daemon.sh start namenode

5） 查看 web 页面显示
这里写图片描述
6） 在[nn1]上，启动所有 datanode
sbin/hadoop-daemons.sh start datanode

7）将[nn1]切换为 Active
bin/hdfs haadmin -transitionToActive nn1

8） 查看是否 Active
bin/hdfs haadmin -getServiceState nn1

6 配置 HDFS-HA 自动故障转移
1） 具体配置
（1）在 hdfs-site.xml 中增加

<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

（2）在 core-site.xml 文件中增加

<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>

2）启动
（1）关闭所有 HDFS 服务：
sbin/stop-dfs.sh

（2）启动 Zookeeper 集群：
bin/zkServer.sh start

（3）初始化 HA 在 Zookeeper 中状态：
bin/hdfs zkfc -formatZK

（4）启动 HDFS 服务：
sbin/start-dfs.sh

（5）在各个 NameNode 节点上启动 DFSZK Failover Controller， 先在哪台机器启动，哪个机器的 NameNode 就是 Active NameNode
sbin/hadoop-daemin.sh start zkfc

3） 验证
（1）将 Active NameNode 进程 kill
kill -9 namenode 的进程 id

（2）将 Active NameNode 机器断开网络
service network stop

4 YARN-HA 配置
1 YARN-HA 工作机制
1） 官方文档：
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

2） YARN-HA 工作机制
这里写图片描述

2 配置 YARN-HA 集群
0）环境准备
（1）修改 IP
（2）修改主机名及主机名和 IP 地址的映射
（3）关闭防火墙
（4） ssh 免密登录
（5）安装 JDK，配置环境变量等
（6）配置 Zookeeper 集群

1） 规划集群

hadoop102hadoop103hadoop104
NameNodeNameNode-
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKZKZK
ResourceManagerResourceManager-
NodeManagerNodeManagerNodeManager

2） 具体配置
（1） yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--启用 resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--声明两台 resourcemanager 的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
    </property>
    <!--指定 zookeeper 集群的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    <!--启用自动恢复-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
</configuration>

（2）同步更新其他节点的配置信息

3） 启动 hdfs
（1） 在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务：
sbin/hadoop-daemon.sh start journalnode

（2）在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

（3）在[nn2]上，同步 nn1 的元数据信息：
bin/hdfs namenode -bootstrapStandby

（4）启动[nn2]：
sbin/hadoop-daemon.sh start namenode

（5） 启动所有 datanode
sbin/hadoop-daemons.sh start datanode

（6）将[nn1]切换为 Active
bin/hdfs haadmin -transitionToActive nn1

4） 启动 yarn
（1）在 hadoop102 中执行：
sbin/start-yarn.sh

（2）在 hadoop103 中执行：
sbin/yarn-daemon.sh start resourcemanager

（3）查看服务状态
bin/yarn rmadmin -getServiceState rm1
这里写图片描述

数据采集之Web端导入DB数据到Hadoop HDFS
风起于青萍之末
03-13 2708
前言接上一篇数据采集之Web端上传文件到Hadoop HDFS，总共需求有3个，这篇记录如何通过Web端将MySQL表数据导入到HDFS中，主要是通过Sqoop2这个工具，之前已经写了一篇 Sqoop2 从MySQL导入数据到Hadoop HDFS，不过那个是在命令行下操作的。这回通过Java API的形式操作，其中还是有不少坑的。环境 OS Debian 8.7 Hadoop 2.6.5 Spri
HDFS HA高可用
yandao的博客
05-30 410
HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA功
032 HDFS中高可用性HA的讲解
weixin_34376562的博客
10-27 303
HDFS Using QJM 　　HA使用的是分布式的日志管理方式 一：概述 1.背景 　　如果namenode出现问题，整个HDFS集群将不能使用。 　　是不是可以有两个namenode呢 　　　　一个为对外服务-&gt;active 　　　　一个处于待机-&gt;standby 　　　　他们的之间共享的元数据叫 nameservice   2.HDFS HA的几大中重点 　　1）保证两个nam...
HDFS高可用模式安装部署
最新发布
2302_78444522的博客
12-10 825
-cluster下有两个NameNode，分别是namenode01,namenode02-->--指定NameNode的元数据在JournalNode上的存放位置-->--指定hdfs的nameservice为cluster-->--指定hdfs的nameservice为cluster-->--指定NameNode在本地磁盘存放数据的位置-->--namenode01的http通信地址-->--namenode02的http通信地址-->--namenode01的RPC通信地址-->
HDFS高可用（HA）
Z_Data的博客
09-21 1525
为了整个系统的可靠性，我们通常会在系统中部署两台或多台主节点，多台主节点形成主备的关系，但是某一时刻只有一个主节点能够对外提供服务，当某一时刻检测到对外提供服务的主节点“挂”掉之后，备用主节点能够立刻接替已挂掉的主节点对外提供服务，而用户感觉不到明显的系统中断。这样对用户来说整个系统就更加的可靠和高效。
HDFS-HA
JiangDongS的博客
06-26 265
HDFS HA 高可用 概述： ​ 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 ​ 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 ​ 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 ​ 4）NameNode主要在以下两个方面影响HDFS集群 ...
HDFS~HA 高可用
feizuiku0116的博客
05-04 630
一、HA HA(高可用)消除了NameNode的单点故障问题,使得整个系统的可用度变高,这是在分布式系统中常用的操作 Hadoop做到高可用的方法是:去掉SecondaryNameNode,添加一个NameNode,所以HA解决方案中要有2个甚至更多的NameNode. 这些Name不能同时起作用,起作用的叫Active,其余的叫Standby,客户端的文件只能向Active NameNode发送. 二、Standby NameNode Standby NameNode有Secondary的作用,但是
HDFS HA 高可用部署日志文件，全代码，详细步骤解说（202302070418）
09-30
1）所谓 HA（high available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS ...
14_尚硅谷大数据之HDFS HA高可用1
08-03
为了提高系统的高可用性（High Availability, HA），HDFS HA引入了Active/Standby两个NameNode的机制，以确保在NameNode故障时能快速切换到备用节点，从而消除单点故障。 8.1 HA概述： HA的主要目标是确保服务的...
Hadoop HDFS HA高可用配置详解
- HDFSHA通过设置多个NameNode（Active/Standby）来实现热备份，确保在NameNode故障时能够快速切换。 3. **HDFS-HA核心问题** - 数据一致性：通过Fsimage（静态元数据快照）和Edits（动态元数据变更日志）同步...
【大数据】HDFS之HA高可用
wnm23的专栏
03-25 654
HADOOP分布式存储系统，HDFS之HA高可用
HDFS的高可用HA
loser与你
09-09 479
HDFS的高可用HA  在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群中只有一个Namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态。  HDFS的高可用HA方案就是为了解决上述问题而产生的，在HA HDFS集群中会同时运行两个Namenode ...
第8章 HDFS HA高可用
留不住斜阳的博客
06-09 424
HDFS HA高可用
Hadoop系列-HDFS HA高可用集群
happy19870612's blog
10-23 2329
前言： 在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。 HA架构图：   集群需要考虑的问题： 1 我们要考虑两个NM之间的元数据是共享或者同步的 NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文
HDFS高可用（HA）设计
he_321的博客
11-17 606
通过配置Active/Standby两个NameNode实现集群中对NameNode的热备。
Hadoop3.2.0 HDFS HA ( NFS)
张伯毅的专栏
02-19 8556
目的 注意：使用Quorum Journal Manager或常规共享存储 背景 建筑 硬件资源 部署 配置概述 配置细节 部署细节 管理命令 自动故障转移 介绍 组件 部署ZooKeeper 在你开始之前 配置自动故障转移 在ZooKeeper中初始化HA状态 使用start-dfs.sh启动集群 手动启动集群 保护对ZooKeep...
一文弄懂HDFS的Ha高可用原理
Haiwi-Song
03-05 2986
文章目录一、Hadoop1.x中hdfs架构二、Hadoop2.x中hdfs架构三、Hadoop 2.x元数据四、基于 QJM 的共享存储系统的总体架构1、基于 QJM 的共享存储系统的内部实现架构图如图。2、QJM 写过程分析五、HDFS的HA参数配置六、hdfs中的DataNode节点配置 一、Hadoop1.x中hdfs架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA...
HDFS---HA
weixin_45207388的博客
03-14 320
HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无...
Hadoop高可用（High Availability）
喻师傅的学习笔记
04-22 1392
Hadoop高可用
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值