大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

最新推荐文章于 2023-12-31 01:49:06 发布
最新推荐文章于 2023-12-31 01:49:06 发布
阅读量342 收藏
点赞数
文章标签： 大数据 运维 开发工具
原文链接：https://yq.aliyun.com/articles/573463
版权

【本文转载自：www.bigdata-star.com】
本文整合梳理了主流大数据生态圈中的组件：Hdfs+Yarn+HBase+Spark+Storm的单点故障问题的解决方案：构建HA（High Available）高可用架构。阅读本文之前，最好需要了解清楚各组件的架构原理。

单点故障的出现原因

首先一张图来了解下这些组件的架构：_1

我们可以发现：它们的共同特点就是都是主从结构。HDFS中的NameNode,Yarn中ResourceManager,Hbase中HMaster,Spark中Master,Storm中Nimbus起着“老大”的角色，那么“老大”挂了怎么办呢？这可就麻烦了，只要老大挂了，等于整个集群的服务都用不了了，NameNode挂了整个集群的HDFS就用不了了，HBase的HMaster挂了整个集群的Hbase都用不了了，等等。这就是所谓的单点故障问题。单点指只有一个主节点。

单点故障的解决方案

既然只有一个主节点就会发生单点故障，那么我们很容易可以想到，我来两个不就行了！对的，HA的思想就是多弄几个主节点，一个死了另一个上。但这样也不够啊！必须有个东西能够使得发生故障的时候自动切换啊！这东西就是Zookeeper。所以有了下面这张图：_2

由于这些组件的HA原理类似，我们只以最难的HDFS的HA高可用架构原理为例讲解。而其他组件，不讲解原理，只上配置文件。

Zookeeper在HA架构中的作用

Zookeeper是一个开源的分布式协调服务，分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。
ZK在Hadoop生态圈中的主要功能有：

  • 选举功能，比如HDFS中Active NameNode的选举、YARN中Active ResourceManager的选举和HBase中Active HMaster的选举。
  • ZooKeeper具有在各个节点同步数据的功能，能保证高度的一致性，因此它能够保证在任何时候只有一个节点为Active。
  • ZooKeeper分布式协调/通知功能，可用于心跳检测，不同进程之间需要检测到彼此是否在正常运行，比如HDFS中NameNode需要知道DataNode是否正常。基本原理是创建一个临时znode，如果连接超时就删除这个节点，不同的进程直接可以根据这个临时子节点来判断对应的进程是否存活。

HDFS基于Zookeeper的HA高可用架构原理

HDFS预备知识：

namenode职责：
（1）负责客户端的请求和响应
（2）负责元数据的管理（查询，修改。。）
（3）维护元信息（fsimage文件），fsimage是磁盘元数据镜像文件，存储元数据信息。
（4）维护操作日志（edits文件），edits是数据操作日志文件，当客户端操作文件的时候，操作记录首先会被记录到edits日志文件中。
我们可以在$dfs.namenode.name.dir/current目录下看到如下的文件结构
image

出现HA之后，(3)和(4)交给了另一个叫做JournalNode的东东。JournalNode在HA故障转移中起到了重要的作用！

HDFA HA原理图解

_

  • 在两个NN（NameNode简写，下同）间选举出一个Active NN，Active NN会在ZK上创建临时节点Znode
  • 两个NN都会向ZK发送心跳检测信息，让ZK实时知道它们的状态。
  • 任何修改操作在 Active NN上执行时，JN进程同时也会记录修改log到至少半数以上的JN中，这时 Standby NN 监测到JN 里面的同步log发生变化了会读取 JN 里面的修改log，然后同步到自己的的目录镜像树里面。
  • Active NN挂了之后，连接超时，ZK收不到心跳信息了，就把对应的临时znode进行删除，znode的删除事件会主动触发到下一次的Active NamNode的选择。
  • 原来的StandbyNN准备要上位了，它会在成为Active NN 前，读取所有的JN里面的日志，这样就能高可靠的保证与挂掉的NN的目录镜像树一致，然后无缝的接替它的职责，维护来自客户端请求，从而达到一个高可用的目的。
    注：故障切换是通过ZKFC(FailOverController)完成。

HDFS的HA高可用架构配置

  • core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>master</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/tmp/dfs/data</value>
    </property>
    <!-- service name,the same as core-site.xml-->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
    </property>
    <!-- RPC address-->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>master:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>slave1:8020</value>
    </property>
    <!-- http address web service -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>slave1:50070</value>
    </property>
    <!--journalnode dir -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
    <!--journalnode dir -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop-2.6.0-cdh5.11.1/data/jn</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

搭建HDFS HA的步骤

（1）启动zookeeper集群（分别在slave1、slave2和slave3上执行）
zkServer.sh start
（2）格式化ZKFC（在master1上执行）
hdfs zkfc -formatZK
（3）启动journalnode（分别在slave1、slave2和slave3上执行）
sbin/hadoop-daemon.sh start journalnode
（4）格式化HDFS（在master1上执行）
hdfs namenode -format
（5）启动nn1
sbin/hadoop-daemon.sh start namenode
（6）第二个namenode机器同步元数据信息
bin/hdfs namenode -bootstrapStandby
（7）启动nn2
sbin/hadoop-daemon.sh start namenode
（6）启动所有datanode
sbin/hadoop-daemons.sh start datanode
（7）在master机器上先启动zkfc（自动故障转移） 它就变成active了 sbin/hadoop-daemon.sh start zkfc
（8）再在slave1机器上启动zkfc.它就变成standby了

测试自动故障转移

（1）启动服务
image

image

image

（2）kill命令杀死active nn的进程

image
（3）在web UI界面上会发现Standby自动变成了Active

Yarn的HA高可用架构

原理与HDFS的非常类似，也是通过Zookeeper心跳检测，自动切换，非常简单，就是配置一下配置文件。

<configuration>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>rs</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

</configuration>

HBase的HA高可用架构

Hbase其实是无单点故障的，你可以手动启动多个HMaster，比如在master机器上启动hbase(bin/start-hbase.sh)之后，可以到slave1机器上也启动master(bin/hbase-daemon.sh start master)，无需任何配置。但是手工启动这样有点麻烦，可以通过配置文件，使得每次启动hbase时候自动的帮你启动两个HMaster。
touch backup-masters在此文件上输入你要作为备份HMaster的机器主机名。

image
image

Spark的HA高可用架构

Spark同样是用ZooKeeper来实现HA。ZooKeeper提供了一个Leader Election机制，由于ZK的高度一致性，可以保证虽有多个Master但是只有一个是Active的，当Active的Master出现故障时，另外的一个Standby Master会被选举出来。

配置方法

vim conf/spark-env.sh

注释掉原本的SPARK_MASTER_HOST，如果它存在，就会默认只以它为Master。
-Dspark.deploy.recoveryMode： 表明整个集群的恢复和维护都是Zookeeper.
-Dspark.deploy.zookeeper.url: 所有做HA机器，其中端口2181是默认端口。
-Dspark.deploy.zookeeper.dir： 指定Spark在Zookeeper注册的信息

#SPARK_MASTER_HOST=master
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 -Dspark.deploy.zookeeper.dir=/spark"

需要将它分发给需要做备份Master的机器。

scp conf/spark-env.sh slave1:/usr/local/spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1/conf/

启动方法

在一台机器上：sbin/start-all.sh

另一台机器上启动第二个Master：sbin/start-master.sh

image

image

image

image

测试故障转移：

image

image

weixin_33890499
关注
HIT ACM 1007题 单点故障SPF（图论，关节点与重连通分量）
李的博客
06-01 400
Input The input will contain the description of several networks. A network description will consist of pairs of integers, one pair per line, that identify connected nodes. Ordering of the pairs is i...
阿里大数据面试题集合：Hadoop+HBase+Spark+Zookeeper
m0_55849656的博客
06-13 1483
阿里大数据面试题集合：Hadoop+HBase+Spark+Zookeeper
浅析HBase region的单点问题
weixin_34293141的博客
09-08 369
很长一段时间以来，一个region同一时间只能在一台RS(Region Server)中打开。如果一个region同时在多个RS上打开，就是multi-assign问题，会导致数据不一致甚至丢数据的情况，这是要避免和解决的。对于正常情况而言，region本质上是单点服务的，当RS宕机时，这个RS上的region无法提供服务，直到他们在另外的RS上重新上线为止。我们首先讨论这种单点服务会导致哪些问题...
zookeeker如何解决HBase单节点故障
weixin_34055787的博客
09-20 215
HBase架构是一个Master与多个RegionServer，Master负责维护Region等一些工作，但是客户端访问Hbase并不需要通过Master。ZK通过监控选举Master来保证集群始终有一个可用的Master，即访问Master需要通过ZK，当ZK发现Master挂掉之后，会从其他机器中进行选举产出新的Master提供服务。Zookeeper作用通过选举，保证...
大数据平台的可扩展性与高可用性实践
最新发布
AI天才研究院
12-31 1102
1.背景介绍 大数据平台的可扩展性和高可用性是其核心特征之一。随着数据规模的不断增长，以及业务需求的不断变化，大数据平台需要具备良好的可扩展性，以应对不断变化的业务需求。同时，大数据平台也需要具备高可用性，以确保系统的稳定运行，避免单点故障导致的业务中断。 在本文中，我们将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和...
Memcached集群/分布式的单点故障
大鹏
11-25 2316
memcached如何处理容错的？ 不处理！:) 在memcached节点失效的情况下，集群没有必要做任何容错处理。如果发生了节点失效，应对的措施完全取决于用户。节点失效时，下面列出几种方案供您选择： * 忽略它！ 在失效节点被恢复或替换之前，还有很多其他节点可以应对节点失效带来的影响。 * 把失效的节点从节点列表中移除。做这个操作千万要小心！在默认情况下（余数式哈希算法），客户端添加或移除
大数据之Hadoop HDFS-HA架构
weixin_44117767的博客
09-11 234
1.1 HDFS HA背景 1.12 Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 解决方法 HA NameNode压力过大，且内存受限，影扩展性 解决方法联邦 F MapReduce存在的问题响系统 JobTracker访问压力大，影响系统扩展性难以支持除MapRe...
HCIA-Big Data华为认证大数据工程师 课程笔记 + 课后习题
weixin_43211147的博客
04-07 5092
文章目录 一、大数据发展趋势与鲲鹏大数据 　　大数据时代的机遇与挑战　 　　华为鲲鹏解决方案 　　课后习题 一、大数据发展趋势与鲲鹏大数据 大数据时代的机遇与挑战 大数据的定义 在3V的基础上，业界对4V的定义加上了价值密度低（Value），而IBM对4V的定义加上了 真实准确（Veracity）。 目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据 的定义 大数据处理与传统数据处理的差异 企业级大数据平台应用场景 • 社交网络和物联网技术拓展了数据采
大数据平台整体架构设计，Hadoop架构（hdfs、mr、yarn、）及环境搭建
富贵的博客
04-20 1426
1. 大数据技术生态体系 2. Hadoop架构介绍 2.1 整体架构 涉及组件： 1）HDFS：NameNode、DataNode、Secondary NameNode 2）MapReduce：MapTask、ReduceTask 3）Yarn：ResourceManager、NodeManager、ApplicationMaster、Container 2.2 HDFS架构 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardwar.
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
黑泽君
05-04 2181
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
分布式专题（一）：分布式系统的一些基本概念
aust_zyl的博客
06-20 1206
1、分布式 小明的公司又3个系统：系统A，系统B和系统C，这三个系统所做的业务不同，被部署在3个独立的机器上运行，他们之间互相调用（当然是跨域网络的），通力合作完成公司的业务流程。 将不同的业务分部在不同的地方，就构成了一个分布式的系统，现在问题来了，系统A是整个分布式系统的脸面，用户直接访问，用户访问量大的时候要么是速度巨慢，要么直接挂掉，怎么办？ 由于系统A只有一份，所以会引起...
hdfs与yarn（mapreduce）问题汇总
赵炳泉的博客
11-21 1574
hdfs与yarn（mapreduce）问题汇总 搭建集群准备？ 1.配置静态ip 2.配置hostname 3.配置主机名IP和映射关系 4.用root操作Hadoop 5.关闭防火墙 6.安装jdk 7.配置ssh免密 8.设置服务器时间同步 Hadoop是什么？ Hadoop利用服务器集群，根据用户的自定义服务逻辑，对海量数据进行分布式处理 Hadoop四大模块三大核心三个服务 模块：...
大型网站架构-lvs为何不能完全替代DNS轮询
java
01-12 1212
部分同学持这样的观点： 1）nginx前端加入lvs和keepalived可以替代“DNS轮询” 2）F5能搞定接入层高可用、扩展性、负载均衡，可以替代“DNS轮询” “DNS轮询”究竟是不是过时的技术，是不是可以被其他方案替代，接入层架构技术演进，是本文将要细致讨论的内容。   一、问题域 nginx、lvs、keepalived、f5、DNS轮询，每每提到这些技术，往往讨论的是接入
HDFS原理综述篇
学习，我们是认真的
08-11 655
概述HDFS即Hadoop分布式文件系统，主要用于支持海量数据的分布式存储管理，适合一次写，多次读取数据的应用场景。在HDFS文件系统中有几个重要的守护进程协调的运行来提供服务： 名称节点进程 辅助名称节点进程 数据节点进程 HDFS也是主从架构的。运行名称节点进程的服务器我们称之为主节点，运行数据节点进程的服务器称之为从节点。HDFS向外提供一个统一的文件系统命名空间，用户就像使用一个文件系统一
大数据分析常用组件、框架、架构介绍（Hadoop、Spark、Storm、Flume、Kafka、Logstash、HDFS、HBase）
热门推荐
YGQ_qq_1435471912
06-22 1万+
（一）常用组件介绍：具有特定功能的可复用组件正是计算机领域中的利器。在大数据的浪潮下，许多用于处理大数据的组件应运而生，分别应用在“数据传输”“数据存储”“数据计算”以及“数据展示”的环节中。这里，我们将着重介绍一些常用组件的内部原理以及使用方式，并讲述在大数据处理领域中的一些通用架构模式。 1.数据传输： 数据传输时数据处理中至关重要的一步，数据工程师需要利用高效的传输方式把分散在不同机房不同地...
大数据开发学习脑图+学习路线清晰的告诉你！月薪50K很轻松
qq_43958467的博客
08-12 395
近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！ 大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长!大数据学习群：8688...
Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用
ly660402的博客
03-30 1347
目录 一、Hadoop高可用 1、zoomkeeper集群部署 2、hdfs高可用 一、Hadoop高可用 在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于 Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作； 而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢 复。 为了让 Standby NN ...
数道云大数据平台解决方案，Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计
weixin_34148340的博客
05-20 694
波若大数据平台（BR-odp）Hadoop + HDFS+Hive+Hbase大数据开发工具剖析： HDFS：分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用，大规模的波若大数据平台（BR-odp）用户部署上1000台的HDFS集群。数据规模高达50PB以上 HDFS和MR共同组成Hadoop分布式系统体系结构的核心。HDFS在集群上实现了分布式文件系统，MR在集...
Hadoop系统中的单点故障解决方案总结
liu123641191的博客
06-19 7422
相较与Hadoop1.0，Hadoop2.0提供了比较完整的单点故障解决方案（Hadoop HA）Hadoop2.0内核由三个分支组成：HDFS、MapReduce和YARN，其他的Hadoop生态系统组件比如：HBase、Hive、Pig等，均是基于这三个系统开发的。因此在Hadoop2.0，存在着三个子系统的单点故障问题。正式介绍解决方案之前，先简要回顾这三个子系统：（1）HDFS：即分布式存...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值