Hadoop Federation（HA+Federation）

最新推荐文章于 2024-06-26 11:31:51 发布

老王的小知识

最新推荐文章于 2024-06-26 11:31:51 发布

阅读量2.4k

点赞数

分类专栏： # 【大数据】High Availability 文章标签： HA hadoop federation HDFS

本文链接：https://blog.csdn.net/wzc8961661/article/details/104821175

版权

Hadoop Federation通过创建多个NameNode实例解决单点故障和性能瓶颈问题，每个NameNode管理不同的命名空间，共享DataNode存储。然而，单个NameNode仍存在单点故障，因此大型集群常采用HA+Federation组合。配置包括设置多个NameNode和它们的Block Pool。

摘要由CSDN通过智能技术生成

学习目标

简介

单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案——Federation。

Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个NameNode。多个 NameNode 的情况意味着有多个 namespace(命名空间)，区别于 HA 模式下的多 NameNode，它们是拥有着同一个 namespace。既然说到了 NameNode 的命名空间的概念,这里就看一下现有的 HDFS 数据管理架构,如下图所示:
在这里插入图片描述
　从上图中,我们可以很明显地看出现有的 HDFS 数据管理,数据存储 2 层分层的结构.也就是说,所有关于存储数据的信息和管理是放在 NameNode 这边,而真实数据的存储则是在各个 DataNode 下。而这些隶属于同一个 NameNode 所管理的数据都是在同一个命名空间下的。而一个 namespace 对应一个 block pool。Block Pool 是同一个 namespace 下的 block 的集合.当然这是我们最常见的单个 namespace 的情况,也就是一个 NameNode 管理集群中所有元数据信息的时候.如果我们遇到了之前提到的 NameNode 内存使用过高的问题,这时候怎么办?元数据空间依然还是在不断增大,一味调高 NameNode 的 jvm 大小绝对不是一个持久的办法.这时候就诞生了 HDFS Federation 的机制.