Hadoop的联邦机制

最新推荐文章于 2024-08-24 12:24:06 发布
最新推荐文章于 2024-08-24 12:24:06 发布
阅读量366 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57498038/article/details/116033383
版权
本文介绍了Hadoop的联邦机制，包括出现的原因、实现方式、核心概念、主要优点以及配置和操作步骤，旨在深入理解大数据环境下Hadoop的扩展性和管理效率。
摘要由CSDN通过智能技术生成

Hadoop的联邦机制

1.1

为什么会出现联邦？

 
Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。
 

2.1

联邦的实现

采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。
 
如图：

最低0.47元/天 解锁文章
大规模数据处理：Hadoop的联邦机制
CodeHeroicX的博客
08-29 489
为了解决这些问题，Hadoop引入了联邦机制（Federation），允许将数据分布在多个独立的集群上，从而实现更高的性能和可扩展性。每个集群的主节点都维护着自己的命名空间和文件系统图，但它们之间会共享一些关键的元数据信息，例如文件和块的位置信息。这样，当一个集群需要访问另一个集群的数据时，它可以通过共享的元数据信息找到所需数据的位置，并将请求发送到相应的集群进行处理。Hadoop的联邦机制允许用户创建多个独立的Hadoop集群，每个集群都有自己的主节点（NameNode）和数据节点（DataNode）。
大数据Hadoop（十五）：Hadoop的联邦机制 Federation
Lansonli（蓝深李）的博客
05-28 2525
全网最详细的Hadoop文章系列，强烈建议收藏加关注！ 后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。 目录 本系列历史文章 前言 Hadoop的联邦机制 Federation 背景概述 Federation架构设计 ​​​​​​​HDFS Federation加高可用 本系列历史文章 2021年大数据Hadoop（十四）：HDFS的高可用机制 2021年大数据Hadoop（十三）：HDFS意想不到的其他功能 2021年大数据Hadoop（十二）：HDFS的API操作 .
Hadoop联邦模式搭建
最新发布
别人笑我太疯癫，我笑他人看不穿。
08-24 958
在Hadoop架构中提供了三类搭建方式，第一类是给测试或开发人员使用的伪分布式或单NN节点搭建方式，第二类是用来商用化并解决NN单点故障的HA搭建方式，第三类就是这里要说的联邦模式，它本身也是一种供给商用的模式，但是它的应用在国内不多，它是用来解决HA单ActionNN压力问题的，在技术顶设上，一个Hadoop集群内部同一时间只允许存在一个生效的NN，但是当你的数据量非常庞大，庞大到你的DataNode资源已经不能用海量形容的地步时，你觉得一个NN能够提供稳定可行的元数据维护吗？
Hadoop Federation
大数据流浪法师的学习笔记与分享
12-05 315
单NameNode的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode进程使用的内存可能会达到上百G，NameNode成为了性能的瓶颈。 因而提出了namenode水平扩展方案-- Federation。 Federation中文意思为联邦,联盟，是NameNode的Federation,也就是会有多个NameNode。 多个NameNode的情况意味着有多...
Hadoop 教程 - Hadoop HDFS Federation联邦机制
qq_33240556的博客
06-26 568
HDFS Federation通过引入多个独立的NameNode解决了这些问题，每个NameNode管理自己独立的命名空间（Namespace），这样就实现了命名空间的水平分割。每个命名空间都是一套完整的文件系统目录树，拥有自己的目录、文件和块信息。这些NameNode共享底层的DataNode存储资源，但它们之间的命名空间是逻辑上隔离的。
hadoop联邦机制
01-10
Hadoop的联邦机制是为了解决单个NameNode（NN）所管理的资源受限的问题而引入的。单个NN的资源受限可能无法满足实际生产需求，因此采用多台NN组成联邦的方式来扩展资源。 在Hadoop的联邦机制中，每个NN都是独立的，...
hadoop Federation联邦机制介绍
一亩三分地
02-02 1039
前面的博客介绍了HDFS HA的实现方式,HA主要解决了"单点故障"的问题,但是在系统扩展性、整体性能和隔离性方面仍然存在问题。 （1）   系统扩展性方面，元数据存储在NN内存中，会受到NN内存上限的制约。 （2）   整体性能方面，吞吐量受单个NN的影响。 （3）   隔离性方面，一个程序可能会影响其他运行的程序，如一个程序消耗过多资源导致其他程序无法顺利运行。HDFS HA本质上还是...
Hadoop生态圈（十）- HDFS Federation联邦机制
程序园@大Null
01-19 1684
HDFS Federation配置示例，HDFS Federation架构，HDFS Federation好处，当前HDFS体系架构
Hadoop 2.0联邦机制
what_how_why2020的博客
02-18 1535
前言：Hadoop2.0中的联邦机制
Hadoop-HDFS联邦
胡俊辉的博客
04-13 556
在单NameNode 的架构中，一个NameNode 管理一个Namespace，NameNode 管理的元数据会全部加载到其内存中，而单台NameNode所在的节点的内存是有上限的，因此也会造成NameNode 的存储瓶颈；再者，所有的HDFS客户端都操作同一NameNode，文件系统的吞吐量也有上限。
Hadoop生态圈（四）HDFS读写流程和联邦机制
傅红雪的专栏
09-25 560
①客户端通过调用 FileSystem 对象的 open() 方法来打开希望读取的文件，对于HDFS来说，这个对象是 DistributedFileSystem 的一个实例。②DistributedFileSystem 通过使用远程过程调用(RPC)来调用 NameNode，以确定文件起始块的位置。③对于每一个块， NameNode 返回存有该块副本的 DataNode 地址。此外，这些 DataNode 根据它们与客户端的距离来排序(根据集群的网络拓扑)。
《Hadoop权威指南》之Federation(联邦)初体验
凌夜知惜
03-09 354
当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题 解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分 逻辑结构如下 一个Namenode存不下的元数据被分配到多个Namenod...
Hadoop笔记（5）HA和联邦机制
haveanybody的博客
04-25 1444
https://www.cnblogs.com/qcloud1001/p/7693476.html
[大数据]hadoop 联邦机制 及 配置文件
eye2cro
08-07 973
hadoop 联邦机制 1 原理 即多个ha 联合组成一套集群环境，对外提供一致接口【ViewFs】（相当于扩容） 即cluserID 相等 但是相同的datanode服务于不同的namenode。 原理是通过namenodeID和blockPool-id来判别文件存放的位置。（不同的namenode存放不同的文件夹） 原理图： 2 配置文件 1 vi core-site.x...
大数据-HADOOP高可用、联邦机制- 学习笔记 -BH4
水滴的专栏
12-23 475
大数据-HADOOP高可用机制- 学习笔记 -BH4
联邦学习-技术层面问题
qq_50492291的博客
05-20 898
联邦学习入门（技术层面、研究层面、目前技术难题）
hadoop配置 HA+联邦
qq_36744284的博客
09-22 653
hadoop配置 HA+联邦集群规划集群配置hostshadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves启动各组件之间的关系数据访问 HA：解决了NameNode存在的单点故障问题 联邦机制：拓展了NameNode的容量，提升集群所能存储数据的上限，各个HA之间不会通信，各自负责各自的数据管理 集群规划 t1 zookeeper JournalNode NameNode zkfc DataNode Resour
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值