Hadoop集群搭建实验之HDFS联邦集群部署

什么是NameNode联邦（HDFS联邦，Hadoop联邦）？

单个 NameNode 的集群架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程用于存放元数据的内存可能会达到上百 G，NameNode 成为了性能瓶颈。为了解决NameNode内存不足导致无法存放更多元数据的瓶颈，提出了 NameNode 的水平扩展方案： HDFS Federation。Federation 中文意思为联邦,联盟，本质上是 NameNode 的 Federation,也就是会有多个NameNode。多个 NameNode 也意味着有多个 NameSpace(命名空间)。

 

---

实验目标：部署一个小型的HDFS联邦集群
环境要求： 虚拟机VirtualBox     操作系统 Centos7    hadoop版本  hadoop-2.6.0-cdh5.7.0

集群规划：

主机ip	主机名	集群中的角色	作用
192.168.56.9	master1	NameNode	存放电影应用的元数据
192.168.56.10	master2	NameNode	存放音乐应用的元数据
192.168.56.11	slave1	DataNode	存储实际数据的公共节点
192.168.56.12	slave2	DataNode	存储实际数据的公共节点

实验