HDFS HA架构

最新推荐文章于 2022-09-14 16:12:00 发布
最新推荐文章于 2022-09-14 16:12:00 发布
阅读量250 收藏
点赞数
分类专栏： Hadoop 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luyoudi/article/details/89193205
版权

HDFS HA架构图

当集群中的NameNode节点只有一个时，如果NameNode挂掉，则整个集群都不能使用了；为实现集群高可用，增加一个备用NameNode。
在这里插入图片描述
Zookeeper集群：负责监控NameNode的状态
JounalNode：共享NameNode状态，通过ZKFC 选举活动的NameNode
Active NameNode：管理DataNode节点
Standby NameNode：当Active NameNode挂掉后接管对DataNode的管理

luyoudi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HA架构简述
cllblogs
10-05 1203
HDFS HA架构图
HDFS HA 架构及原理
weixin_30716725的博客
08-16 333
HDFS HA架构 HDFS HA原理 QJM 用2N+1台JN存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。这个原理是基于Paxos算法。在HA架构里面SecondaryNameNod...
hdfs HA架构小结
逆流的博客
11-16 509
HA架构
HDFS HA 架构解析
一亩三分地
03-14 789
1、HA产生背景 在企业中，大多数公司都是采用cdh来部署集群，对于hadoop集群都是采用的完全分布式方式。在hadoop集群中肯定会有NN（Name Node）节点和SNN（Secondary Name Node）节点，而真正提供集群服务的则是NN节点，SNN节点会将NN的fsimage和editlog拷贝，然后合并成fsimage.ckpt。而且要说明的是:正常情况下，...
HDFS HA (High availability) 架构
Jaserok的博客
11-26 238
1.架构图 叙述： HA是为了解决单点问题，通过JN集群共享状态，通过ZKFC 选举active，监控状态，自动备援。 DN会同时向active standby nn发送心跳。 ActiveNN：操作记录写到自己的editlog,同时JN集群也会写一份；接收 DN的心跳和blockreportStandbyNN: 接收JN集群的日志， 先是读取执行log操作（重演），使得自己...
HDFS-HA工作机制
01-07
1.HDFS-HA工作要点 1.1.元数据管理方式需要改变 内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作；(备份的那个不提供写操作–编辑日志不同步) 两个NameNode都可以读取Edits； 共享的...
14_尚硅谷大数据之HDFS HA高可用1
08-03
为了提高系统的高可用性（High Availability, HA），HDFS HA引入了Active/Standby两个NameNode的机制，以确保在NameNode故障时能快速切换到备用节点，从而消除单点故障。 8.1 HA概述： HA的主要目标是确保服务的...
HDFS架构介绍
06-07
12. **HDFS HA (High Availability)**：通过增加额外的NameNode和使用共享存储，可以实现HDFS的高可用性，当主NameNode故障时，备NameNode可以接管服务。 HDFS 的设计哲学是牺牲一部分细粒度的文件操作性能，换取大...
【HDFS篇14】HA高可用 --- Federation架构设1
08-04
【HDFS篇14】HA高可用 --- Federation架构设计1 在Hadoop分布式文件系统（HDFS）的设计中，NameNode扮演着至关重要的角色，它负责管理文件系统的元数据，包括文件与目录的命名空间（Namespace）以及文件的块映射...
Hadoop2.6集群环境搭建（HDFS HA+YARN）
02-12
在搭建Hadoop 2.6集群环境时，我们需要关注几个关键组件：HDFS（Hadoop Distributed File System）的高可用性（HA）以及YARN（Yet Another Resource Negotiator）。这个过程涉及多台虚拟机的配置，包括安装操作系统...
Hadoop HA----HDFS的HA架构
weixin_43267534的博客
11-29 350
在这里我们首先回顾一下我们在时候伪分布式学习时的HDFS的架构设计。在同一个机子上我们有三个进程，分别是NameNode，DataNode，SecondaryNameNode。其中，DataNode就是进行数据管理的节点，其会定期将其保存的数据与相应文件的对应关系(就是blockreport)和这个节点的心跳包发送到NameNode节点上，HA和伪分布式上的DataNode的功能都是一致的。这里我...
【精】HDFS的HA系列（一）--- 背景、架构
Badme
01-09 1548
【精】HDFS的HA系列（一）--- 背景、架构
3、Hadoop高级之HDFS&YARN HA架构剖析
03-29 139
HDFS HA 1、为什么要用集群 学习过程中我们只需要单点就够了 我们在企业中大数据几乎所有组建都是主从架构 master-slave 比如hdfs读写请求都是先NN节点； 但是:hbase 读写请求不是经过老大master 企业里面，伪分布式 每一个角色都是1个进程 HDFS:...
HDFS-HA-federation的机制和功能组件
客人
08-21 399
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA   注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译 （建议第一次安装用32位的系统
HDFS的组成及其功能
最新发布
m0_61232019的博客
09-14 5079
client（客户端）：文件切分、与NameNode交互、获取文件的位置信息；与DataNode交互，读取或写入文件；（Master）：管理整个文件的元数据（命名空间信息，块信息）；（辅助工作者）：辅助NameNode；执行fsimage和edits的定期合作，并推送给NameNode。（Slave）：存储文件；执行数据块的读写操作。
三：hadoop HA YEAR架构总结及各组件功能（原理总结）
weizhonggui的博客
11-29 1359
内容：在前面搭建和熟悉各组件启动流程下，今天总结下hadoop的HA YEAR架构，同时看看各组件的功能，理清启动顺序，并进行相关组件对比。 * 目录结构： 前期搭建规划 hadoop HA 架构及功能 hadoop YEAR架构及功能 启动/关闭流程总结 两架构对比及其它 1、前期搭建规划 2、hadoop HA 架构及功能 HDFS HA: 是为了解决单点故障问题，通过JN集群共享状态...
[HDFS HA架构图 ]
努力努力再努力博客
03-29 564
绿色字体 红色字体 粉色字体 蓝色字体 1.HA进程: 假设有3台机器： hadoop001:ZK NN ZKFC JN DN hadoop002:ZK NN ZKFC JN DN hadoop003:ZK JN DN jounalNode数量布置的多少: 一般根据HDFS请求量 及数据量（一般部署2n+1个） ...
hdfs和yarn HA 架构图梳理和总结
whiteblacksheep的博客
08-20 520
1.hdfs HA 架构图梳理 HA使用active NN, standby NN两个节点解决单点问题。两个NN节点通过JN(JournalNode)集群， 共享状态，通过ZKFC选举active，监控状态，自动备援。DN会同时向两个NN节点发送心跳。 各个组件的作用 active nn：接收client的rpc请求并处理，同时自己editlog写一份，也向JN的共享存储上的editlog写一份...
HDFS深度解析与Hadoop HA架构详解
Day05的课程内容丰富，旨在提供全面的HDFS、Hadoop HA和分布式系统的技术背景，帮助学员掌握从基础到进阶的大数据处理和分布式架构设计的知识，以及相关的数据一致性解决方案。参与者可以通过QQ群2338247381获取更多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值