大数据学习-Hadoop生态章---(二) HA高可用

最新推荐文章于 2023-06-21 18:38:46 发布
最新推荐文章于 2023-06-21 18:38:46 发布
阅读量205 收藏
点赞数 1
分类专栏： 大数据 总结资料 文章标签： 大数据 HA高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fg19941101/article/details/86418657
版权

大数据学习-Hadoop生态章

(二) HA高可用

2.1. Hadoop 2.0产生背景

Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题。

  • HDFS存在的问题（如下图）：
  1. NameNode单点故障，难以应用于在线场景
  2. NameNode压力过大，且内存受限，影响系统扩展性
    在这里插入图片描述
  • MapReduce存在的问题
  1. JobTracker访问压力大，影响系统扩展性
  2. 难以支持除MapReduce之外的计算框架，比如Spark、Storm等.
  • Hadoop 2.x由HDFS、MapReduce和YARN三个分支构
  1. HDFS：分布式文件存储系统；
  2. YARN：资源管理调度系统
  3. MapReduce：运行在YARN上的MR；

2.2. HDFS 2.x

  • 解决单点故障

HDFS HA高可用：通过主备NameNode解决，如果主NameNode发生故障，则切换到备NameNode上

  • 解决内存受限问题

    (1) HDFS Federation（联邦机制）
    (2)2.x 支持2个NN节点的HA;
    3.0实现了NN一主多从，水平扩展，支持多个NameNode；
    每个NameNode分管一部分目录；
    所有NameNode共享所有DataNode存储资源;

  • 2.x仅是架构上发生了变化，使用方式不变
  • 对HDFS使用者透明

2.3. HDFS 2.x HA高可用

2.3.1. HDFS 2.x的HA

HDFS的高可用结构图:
在这里插入图片描述
JournalNode(JN)实现主备NN 间的数据共享

  • 主备NameNode

  • 解决单点故障(状态 ：active为主、standby为备)
    主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换，所有DataNode同时向两个NameNode汇报数据块信息。

    主NN将对外提供服务，并将元数据放到JN上，备NN同步备份JN的上存储的元数据。

  • 两种切换选择
    手动切换：通过命令实现主备之间的切换，可以用HDFS升级等场合
    自动切换：基于Zookeeper实现

  • 基于Zookeeper自动切换方案
    2个NN通过获取zkfc竞争锁，来判定谁是active和standby.

2.3.2.Federation联邦

通过多个namenode/namespace把元数据的存储和管理分散到多个节点中，使到namenode/namespace可以通过增加机器来进行水平扩展。

能把单个namenode的负载分散到多个节点中，在HDFS数据规模较大的时候不会也降低HDFS的性能。可以通过多个namespace来隔离不同类型的应用，把不同类型应用的HDFS元数据的存储和管理分派到不同的namenode中。

2.4. Zookeepeer

详见：Zookeeeper详解

2.5. YARN

Hadoop 2.0新引入的资源管理任务调度系统，直接从MRv1演化而来的；

核心思想：将MRv1中JobTracker的资源管理和任务调度两个功能分开，分别由ResourceManager和ApplicationMaster进程实现。

ResourceManager： 负责整个集群的资源管理和调度。

ApplicationMaster：负责应用程序相关的事务，比如任务调度、任务监控和容错等。

YARN的引入，使得多个计算框架可运行在一个集群中.

每个应用程序对应一个ApplicationMaster（应用程序控制-主人）
目前多个计算框架可以运行在YARN上，比如MapReduce、Spark、Storm
等。

yarn资源管理任务调度流程:
在这里插入图片描述
在这里插入图片描述
流程大致如下：

  • client客户端向yarn集群(ResourceManager)提交任务
  • ResourceManager选择一个node创建AppMaster
  • AppMaster根据任务向RM申请资源
  • RM返回资源申请的结果（返回给AppMaster一批资源）
  • AppMaster去对应的node上创建任务需要的资源（container形式，包括内存和CPU）
  • AppMaster负责与NodeManager进行沟通，监控任务运行
  • 最后任务运行成功，汇总结果。

其中ResourceManager里面一个很重要的东西，就是调度器Scheduler，调度规则可以使用官方提供的，也可以自定义。
官方大概提供了三种模式（了解）：

FIFO，最简单的先进先出，按照用户提交任务的顺序执行。这种方式最简单，但是也一大堆问题，比如任务可能独占资源，导致其他任务饿死等。

Capacity，采用队列的概念，任务提交到队列，队列可以设置资源的占比，并且支持层级队列、访问控制、用户限制、预定等等高级的玩法。

Fair share，基于用户或者应用去平分资源，灵活分配。
capacity和fair share都是采用队列的模式，队列内部基本上还是FIFO。并且同级的队列任务，如果一个队列是空闲的，那么另一个队列任务可以使用资源；如果这个队列又提交了任务，则会抢占或者等待资源释放，直到资源到达预定的分配比例。
总的来说，YARN的资源调度还是比较完善的。

2.6.MapReduce On YARN

  • MapReduce On YARN：MRv2
  • 将MapReduce作业直接运行在YARN上，而不是由JobTracker和TaskTracker构建的MRv1系统中
  • 基本功能模块
    YARN：负责资源管理和调度
    MRAppMaster：负责任务切分、任务调度、任务监控和容错等
    MapTask/ReduceTask：任务驱动引擎，与MRv1一致
  • 每个MapRduce作业对应一个MRAppMaster任务调度
    YARN将资源分配给MRAppMaster
    MRAppMaster进一步将资源分配给内部的任务
  • MRAppMaster容错
    失败后，由YARN重新启动
    任务失败后，MRAppMaster重新申请资源

2.7.Hadoop2.X 集群搭建

集群合理安装部署规划(我这里以3太服务器为例)
在这里插入图片描述

Zookeeper Failover Controller：监控NameNode健康状态，并向Zookeeper注册NameNode，NameNode挂掉后，ZKFC为NameNode竞争锁，获得ZKFC 锁的NameNode变为active

  1. 解压
    在这里插入图片描述

  2. 配置 hadoop-env.sh
    在这里插入图片描述
    在这里插入图片描述

  3. 配置 core-site.xml
    在这里插入图片描述

     <property>
 	<name>fs.defaultFS</name>
  	<value>hdfs://qiaoke</value>
 </property>
 <property>
	<name>ha.zookeeper.quorum</name>
	<value>node01:2181,node02:2181,node02:2181</value>
 </property>
 <property>
 	 <name>hadoop.tmp.dir</name>
 	 <value>/opt/hadoop2.6.5</value>
 </property>

  4. 配置 hdfs-site.xml

     <property>
 	<name>dfs.nameservices</name>
 	<value>qiaoke</value>
 </property>
 <property>
 	<name>dfs.ha.namenodes.qiaoke</name>
 	<value>nn1,nn2</value>
 </property>
 <property>
 	 <name>dfs.namenode.rpc-address.qiaoke.nn1</name>
 	 <value>node01:8020</value>
 </property>
 <property>
 	<name>dfs.namenode.rpc-address.qiaoke.nn2</name>
 	<value>node02:8020</value>
 </property>
 <property>
 	<name>dfs.namenode.http-address.qiaoke.nn1</name>
 	<value>node01:50070</value>
 </property>
 <property>
 	<name>dfs.namenode.http-address.qiaoke.nn2</name>
 	<value>node02:50070</value>
 </property>
 <property>
 	<!-- 指定namenode元数据存储在journalnode中的路径 -->
  	<name>dfs.namenode.shared.edits.dir</name>
 </property>
 <property>
 	 <!-- 指定namenode元数据存储在journalnode中的路径 -->
 	 <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/qiaoke</value>
 </property>
 <property>
 	<!-- 指定HDFS客户端连接active namenode的java类 -->
 	<name>dfs.client.failover.proxy.provider.qiaoke</name>
   	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
 </property>
 <property>
 	 <!-- 配置隔离机制为ssh 防止脑裂 -->
 	  <name>dfs.ha.fencing.methods</name>
 	  <value>sshfence</value>
 </property>
 <property>
 	<!-- 指定秘钥的位置 -->
 	  <name>dfs.ha.fencing.ssh.private-key-files</name>
 	  <value>/root/.ssh/id_rsa</value>
 </property>
 <property>
 	 <!-- 指定journalnode日志文件存储的路径 -->
 	  <name>dfs.journalnode.edits.dir</name>
 	  <value>/opt/hadoop2.6.5/data</value>
 </property>
 <property>
 	<!-- 开启自动故障转移 -->
 	   <name>dfs.ha.automatic-failover.enabled</name>
 	   <value>true</value>
 </property>

  5. 配置 zookeeper
    详见：zookeeper详解 配置章节
    a) 三台zookeeper：node01，node02，node03
    并解压ZooKeeper安装文件
    b) 编辑zoo.cfg配置文件
    在这里插入图片描述

    修改
    dataDir=/opt/zookeeper
    server.1=node01:2888:3888
    server.2=node02:2888:3888
    server.3=node03:2888:3888
    在这里插入图片描述

    c) 在dataDir目录中创建一个myid的文件，文件内容分别为1，2，3
    在这里插入图片描述

    d) 环境变量
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  6. 配置hadoop中的slaves
    在这里插入图片描述
    在这里插入图片描述

  7. 发送到 其他节点服务器 环境变量配置
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  8. 启动三个zookeeper：./zkServer.sh start
    注意:相关的zookeeper服务器都要启动
    在这里插入图片描述

  9. 启动三个JournalNode：./hadoop-daemon.sh start journalnode

  10. 在其中一个namenode上格式化：hdfs namenode -format

  11. 把刚刚格式化之后的元数据拷贝到另外一个namenode上

a)启动刚刚格式化的namenode : hadoop-daemon.sh start namenode
b)在没有格式化的namenode上执行：hdfs namenode -bootstrapStandby
c)启动第二个namenode hadoop-daemon.sh start namenode

  1. 在其中一个namenode上初始化zkfc：hdfs zkfc -formatZK
  2. 停止上面节点：stop-dfs.sh
  3. 全面启动（在NN节点执行）：start-all.sh
  4. 启动(resourcemanager，我这里是在2，3节点服务器上) ：yarn-daemon.sh start resourcemanager
  5. 关机：先NN上执行 stop-all.sh
    在每个ZooKeeper节点服务器执行 zkServer.sh stop

有可能会出错的地方

1，确认每台机器防火墙均关掉
2，确认每台机器的时间是一致的
3，确认配置文件无误，并且确认每台机器上面的配置文件一样
4，如果还有问题想重新格式化，那么先把所有节点的进程关掉,
删除之前格式化的数据目录hadoop.tmp.dir属性对应的目录，所有节点同步都删掉，别单删掉之前的一个，删掉三台JN节点中dfs.journalnode.edits.dir属性所对应的目录
5，接上面的第6步又可以重新格式化已经启动了
6，最终Active Namenode停掉的时候，StandBy可以自动接管！

fg19941101
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据平台HA架构搭建
xu2618的专栏
06-27 676
mkdir hive mkdir hadoop mkdir hbase mkdir scala mkdir spark mkdir zookeepermv apache-hive-2.1.0-bin hive/hive-2.1.0 mv hadoop-2.7.3 hadoop mv hbase-1.2.5 hbase mv scala-2.11.6 scala mv spark-2
大数据-HA
Destiny的博客
08-11 327
HA Redis HA （1）复制sentinel.conf文件到conf文件夹下 cp sentinel.conf /usr/local/redis/conf/ （2）修改sentinel.conf文件 sentinel monitor mymaster 192.168.138.130 6379 1 （3）启动Redis集群 redis-server conf/redis6379.conf ...
7 Hadoop HA
weixin_42749734的博客
01-30 217
第七部分 Hadoop HA 7.1 HA概述 所谓HA(High Available)，即⾼可用(7*24⼩时不中断服务)。 实现⾼可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)。 NameNode主要在以下两个⽅方⾯面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软
大数据HA安装教程
Godin_的博客
06-17 475
** 大数据之HA&MapReduce安装教程 **本文特点：是一篇比较详细的安装教程 前情提要：首先将四台能互相ping通的虚拟机开机，并在xshell 5连接起来。其中第一台已经做好伪分布式安装。 要安装两台namenode，一台在Active状态，一台在StandBy状态。三台Datanodel存储数据；journalnodel安装在前三台机子上，遵循“过半原则”；Namenodel放在哪两台机子上，ZKFC就放在哪；ZK的功能是切换Namenodel状态。 正式步骤 1：分发jdk到nod
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2734
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
大数据系列-Hadoop 2.0
07-31
0103 高级Hadoop 2.x、0102 深入Hadoop 2.x这两部分可能涉及更深层次的Hadoop技术，如Hadoop生态系统的其他组件（如Hive、Pig、Spark），Hadoop的安全管理，以及高级优化技巧。 总之，Hadoop 2.0作为一个全面的...
Hadoop大数据平台-建设要求及应答方案.docx
10-14
台管理层：Apache HDFS, Apache YARN, Apache ZooKeeper, Cloudera Manager, Apache Oozie, Apache Hive, Apache ...通过集成各种Hadoop生态工具，实现数据的全生命周期管理，为企业的决策支持和业务创新提供强大支撑。
第6章-Hadoop—分布式大数据系统78.pptx
09-23
第二代Hadoop则包含了0.23.x和2.x版本，其中2.x版本引入了NameNode HA（High Availability）以提高主节点的可用性和Wire-compatibility，增强了不同版本之间的兼容性。 **6.2 HDFS（Hadoop Distributed File System...
hadoop-2.7.1
12-04
2. HDFS HA（High Availability）：此版本增强了HDFS的高可用性，通过NameNode的热备和故障切换，保证了服务的连续性。 3. 提升性能：2.7.1对网络通信进行了优化，降低了延迟，提高了I/O性能，使得大规模数据处理...
hadoop-3.0.2
11-22
9. **升级工具和兼容性**：Hadoop 3.0.2提供了升级工具，帮助用户从旧版本平滑过渡到新版本，同时保持与其他Hadoop生态组件的良好兼容性。 10. **性能优化**：在MapReduce、HDFS和其他组件中进行了一系列的性能优化...
大数据笔记（四）：HDFS集群搭建-HA模式概念
Lansonli（蓝深李）的博客
04-27 3548
HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。
大数据 hadoop-HDFS
Internation985的博客
06-29 234
标题## 1 Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的，Hadoop 1.x之前，其官方架构如图1所示: [ 图1.Hadoop 1.x架构图 ] 从图中可看出，1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用。 Hadoop 2.x的架构与1.x有什么区别呢。我们来看下2.x的架构： [ 图2.
大数据之HA配置步骤
二锅头的博客
09-13 478
1. 在/opt下新建ha目录，并将hadoop安装包拷贝一份 sudo mkdir /opt/ha sudo chown atguigu:atguigu /opt/ha cp -r /opt/module/hadoop-3.1.3 /opt/ha rm -rf /opt/ha/hadoop-3.1.3/data /opt/ha/hadoop-3.1.3/logs 2. 修改/opt/ha/hadoop-3.1.3的配置文件 core-site.xml <?xml version="1.0" e
大数据云计算运维之HA高可用服务搭建
最新发布
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
06-21 1114
Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS 集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功 能。因此，Keepalived除了能够管理LVS软件外，还可以作为其他服务 （例如：Nginx、HAproxy、MySQL等）的高可用解决方案软件。
配置高可用的Hadoop平台
weixin_33777877的博客
02-25 251
1.概述 　　在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK（安装，启动，验证） HDFS＋HA的结构图 角色分配 环境变量配置 核心文件配置 slave ...
Hadoop集群配置（二）免密登录和集群配置
学而知之@的博客
05-20 1701
写在开头： 难难难道德玄，不对知音不可谈，对了知音谈几句，不对知音枉费舌尖~~ 咱们书接上回，上一篇写完了基础环境的配置，这篇就来说硕同样重要的免密登录，当然还有Hadoop集群的配置。 2.1 三台linux服务器环境准备 1. 三台机器IP设置 三台机器修改ip地址： # 对网库进行设置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # hadoop版本IP设置 BOOTPROTO="static" IPADDR=192.168.32.100 NETMA
hadoop 2.0安装及HA配置简述
YDK1912的博客
11-10 146
一.单机模式 a、配置本机到本机的免密登录 b、解压hadoop压缩包，修改hadoop.env.sh中的JAVA_HOME c、修改core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs:...
Hadoop HA高可用集群搭建详细过程(亲测四台有效）
qq_43532434的博客
06-17 5404
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop入门之集群高可用HA的搭建及原理图
筑梦者
08-31 2995
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统，我将
hadoop大数据生态圈工具配置与应用.pdf
12-09
目录如下，第一章为centos7的基础配置，详细可以看我博客 第二章 hadoop 1 第三章 HDFS应用 10 第四章 mapreduce JAVA API 26 第五章 zookeeper 45 第六章 高可用hadoop配置 46 第七章 hive 51 第八章 flume 53 第九章Azkaban 64 第十章 sqoop 83

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值