hadoopHA的架构原理

最新推荐文章于 2024-08-27 16:42:53 发布
最新推荐文章于 2024-08-27 16:42:53 发布
阅读量45 收藏
点赞数
分类专栏： hadoop 文章标签： 架构 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43015677/article/details/129539448
版权
文章讲述了在Hadoop集群中实现NameNode高可用的机制，包括在两个节点上安装NameNode，每个节点配备ZKFC监控NameNode状态，通过ZooKeeper进行主备切换。当activeNameNode故障时，standby节点会接管工作，确保服务不间断。
摘要由CSDN通过智能技术生成

1.在两个节点上都安装一个NameNode
2.每个NameNode所在的节点中都有一个监控器（ZKFC）
3.监控器会监控NameNode的状态,并在zk中注册节点
4.两个NameNode谁先在zk中注册成功则谁就是active状态,剩下的那个则是standby
5.如果active节点挂掉了,监控器则将zk中注册的节点注销掉
6.standbv中的监控器一旦检测到zk中的节点消失 则立即注册并通知standbv状态的 NameNode开始工作standbv会先去远程执行kill-9 activeNameNode节点的端口杀死他后，开始切换到active状态开始工作
7.activeNameNode和standbyNameNode是使用JN进行做主从复制

荣晓
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HA架构图原理
Java大数据
08-20 1727
HDFS（HA）： 分为NameNode和DataNode，master/slave架构 NameNode：存放HDFS的元数据，由FsImage和EditLog组成 FSImage：存放 BlockId,文件权限，文件目录 EditLog:存放对HDFS的操作记录 HA 目的:hdfs只有一个NameNode节点是，当namenode宕机后，整个hdfs也都无法使用了。 为了解决NameNode...
Hadoop HA架构原理
weixin_43999780的博客
08-22 252
在大数据各组件中,大部分的都是主从架构,当主节点挂了后(主节点只有一个),整个大数据生产线无法完整的跑下去,而其中最重要的就是存储节点 HDFS中SecondaryNameNode（SNN）缺点：每小时做一次checkpoint的操作，如果NameNode(NN)挂了，SNN只能恢复上一次的checkpoint的状态，而不能实时切换到NN挂的状态，这就是SNN的瓶颈。 HA目的：做两个主节点,一个...
Hadoop HA原理及架构
weixin_44591209的博客
04-11 682
什么是HA？ 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。Hadoop HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 HDFS HA 官网：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-p...
Hadoop HA 架构详解
heihei2017的博客
09-17 710
HadoopHA 是什么？ hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop 1不存在此特性） HadoopHA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使...
hadoop ha原理详解
OH LEI``
08-03 2291
大致流程图:   active会定时的把edits文件同步到journal,借助zk实现分布式协调高可用 standby也会实时追加edits文件, 简单来说active standby保存两份元数据edits操作文件,同时定时同步JournalNode   Hadoop NameNode 高可用 (High Availability) 实现解析 在 Hadoop 的整个生态系统...
Hadoop Namenode的HA原理
大数据流浪法师的学习笔记与分享
12-12 336
历史背景 Hadoop1.X版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。 为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等）。 HA(High ...
Hadoop-HA(高可用）架构原理
weixin_42782897的博客
04-16 5380
最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。 一、Hadoop 系统架构 1.1...
Hadoop HA
好好学习天天向上
04-04 679
文章目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作机制配置YARN-HA集群 Hadoop HDFS-HA HA(High Availablity) 1.高可用:7*24小时
Hadoop高可用HA原理-全流程讲解
青冬的博客
05-22 1822
序 Hadoop高可用全流程讲解 since：2021年5月22日 21:36 auth：Hadi 参考： https://blog.csdn.net/weixin_40652340/article/details/78557775 https://blog.csdn.net/weixin_42782897/article/details/89335674 https://blog.csdn.net/qq_24852439/article/details/104185496 前言 玩...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
HDFS HA架构图显示，Active NameNode通过JournalNode与Standby NameNode同步元数据，Zookeeper集群的ZKFC（Zookeeper Failover Controller）用于检测和执行NameNode之间的切换。 类似的，YARN HA使用相同的原理，...
Hadoop2.0架构及其运行机制，HA原理
qq_37012496的博客
03-18 1272
文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程 一、Hadoop2.0架构 1.架构图 以上是hadoop2.0的架构图，根据hadoop1.0的不足，改进而来。 1.NameNode节点，由原先的一个变成两个,解决单点故障问题 2.JournalNode...
HadoopHA(高可用集群)2.7.2 原理及搭建
weixin_46122692的博客
10-16 324
一、介绍： 1、所谓HA（High Available），即高可用（7*24小时不中断服务） 2、实现高可用的关键是消除单点故障，即HDFS的nameNode和YARN的resourceManager，所以HA机制就是HDFS的HA和YARN的HA。 由于一个HDFS集群由一个NameNode节点和多个DataNode节点组成，一旦NameNode节点宕机，那么HDFS将不能进行文件的上传与下载。 由于一个Yarn集群由一个ResourceManager节点和多个NodeManager节点组成，一旦
【学习分享】应用架构之持久化数据状态管理
大漠狼烟的博客
08-24 592
A和B请求同时获取数据的状态，此时获取的Persistent Object（简称po）都对应于版本1，B请求率先对po状态更新，A请求在更新po状态你就会发现实则A请求应该对po的版本2进行修改但是现在的情况是直接对版本1进行修改，抹杀了A请求存在的意义，如果是类金融场景那么用户数据会出现循环滚动的场景。在数据库实现中对于第二点的生命周期可简单利用数据库锁for update，深入的去说这个不是业务程序应该考虑的问题，笔者不推荐使用数据库实现的方法实现数据的生命周期，因为会存在死锁。
006、架构_GTM
最新发布
细致-专业-实操
08-27 54
分布式事务的一致性问题。
004、架构_计算节点
细致-专业-实操
08-27 39
数据区为一条链路的相关信息包括链路上的事务信息、 语句信息等预留了空间。整个事务期间，后续SQL处理时，直接使用conn1、conn2，不必再向连接池重新获取链路；CN启动时会通过元数据管理线程从RDB获取元数据信息，存放在本地，对应内存区为元数据缓存区；例：G1链路为conn1，G2链路为conn2；收到执行线程请求，根据请求的事务号，找到对应链路conn1和conn2。在他CN执行DDL时，启动元数据变更，包含：数据字典、管理元数据；后端侦听线程组主要监听后端链路消息，也分为：监听线程与工作线程。
精简化事件：事件驱动架构的精益力量
JavaEdge全是干货的技术号
08-24 690
虽然这种方法可以防止事件数量的膨胀，但它可能会过度暴露并非所有消费者都需要的细节，从而可能导致系统之间的紧耦合。例如，如果消费系统接收到包含超出其实际需求的详细信息的聚合级数据，它可能会开始依赖这些额外的细节。在这种情况下，一个设计良好的详细事件，包含订单详情和支付信息，可以弥补这一差距，确保数据顺利交换。不断尝试，积累经验，并充分利用事件驱动架构的潜力，以构建强大且灵活的系统。尽管简单事件在事件驱动架构中具有许多优势，但在某些特定情况下，详细事件仍然有其价值，特别是在需要预先包含数据的情况下。
Spring之底层架构核心概念解析
业精于勤荒于嬉，行成于思毁于随
08-27 589
我们还可以。
系统架构设计师——架构风格
吴代庄的博客
08-24 1183
软件体系结构风格是指在软件架构设计中，针对特定应用领域所采用的一套惯用模式，这些模式定义了系统的组织方式。
掌握Hadoop HA：故障转移与高可用实战教程
这个视频教程深入浅出地介绍了Hadoop HA的核心原理和技术实践。 首先，课程开始于理解Hadoop的单点故障问题。在大规模分布式系统中，如果某个节点（如NameNode或ResourceManager）出现故障，可能导致整个集群服务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值