Hadoop Federation为了解决单个NameNode带来的扩展性和性能瓶颈问题，通过创建多个NameNode和命名空间来实现水平扩展。每个NameNode管理一部分namespace，共同使用集群中的DataNode，形成多层数据管理结构。然而，Federation并未完全消除单点故障，对于大规模集群，通常会结合HA一起使用。
Hadoop Federation（联邦）
单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案-- Federation。
Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个 NameNode。多个 NameNode 的情况意味着有多个 namespace(命名空间)，区别于 HA 模式下的多 NameNode，它们是拥有着同一个 namespace。
HDFS 数据管理，数据存储 2 层分层的结构.也就是说,所有关于存储数据的信息和管理是放在 NameNode 这边,而真实数据的存储则是在各个 DataNode 下.而这些隶属于同一个 NameNode 所管理的数据都是在同一个命名空间下的.而一个 namespace 对应一个 block pool。Block Pool 是同一个 namespace 下的 block 的集合.当然这是我们最常见的单个 namespace 的情况,也就是一个 NameNode 管理集群中所有元数据信息的时候.如果我们遇到了之前提到的 NameNode 内存使用过高的问题,这时候怎么办?元数据空间依然还是在不断增大,一味调高 NameNode 的 jvm 大小绝对不是一个持久的办法.这时候就诞生了 HDFS Federation 的机制.
![[外链图片转存失败(img-xY8zP1Qt-1568680998431)(D:\学习笔记\hadoop\保存图片\HDFS元数据\08联邦.png)]](https://i-blog.csdnimg.cn/blog_migrate/9ae698416572f6b4fa5ff7d00f07547c.png)
Federation 一个典型的例子就是上面提到的
最低0.47元/天 解锁文章
552
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
