Hadoop集群搭建实验(4) _HDFS Federation联邦集群部署

参考文章：

https://blog.csdn.net/pengxiaozhen1111/article/details/88095914

https://blog.csdn.net/wild46cat/article/details/53423472

https://blog.csdn.net/qq_39532946/article/details/76461110

https://my.oschina.net/cloudcoder/blog/880812

https://blog.csdn.net/u014679456/article/details/81486863

https://blog.csdn.net/liuzhuang2017/article/details/81630116

什么是NameNode Fedaeration联邦（HDFS联邦，Hadoop联邦）？

单个 NameNode 的集群架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程用于存放元数据的内存可能会达到上百 G，NameNode 成为了性能瓶颈。为了解决NameNode内存不足导致无法存放更多元数据的瓶颈，提出了 NameNode 的水平扩展方案： HDFS Federation。Federation 中文意思为联邦,联盟，本质上是 NameNode 的 Federation,也就是会有多个NameNode。多个 NameNode 也意味着有多个 NameSpace(命名空间)

NameNode内存瓶颈：数据量越大，元数据也越多，内存有限，承载不了

NameNodeCPU瓶颈：业务量大，客户端多，高并发，读写请求，响应不了

实验目标：部署一个小型的HDFS联邦集群 ，用于教学演示
环境要求：    虚拟机VirtualBox     操作系统 Centos7    hadoop版本  hadoop-2.6.0-cdh5.7.0

集群规划：

主机ip	主机名	集群中的角色	作用
192.168.56.9	master1	NameNode	存放电影应用的元数据
192.168.56.10	master2	NameNode	存放音乐应用的元数据
192.168.56.11	slave1	DataNode	存储实际数据的公共节点
192.168.56.12	slave2	DataNode	存储实际数据的公共节点

 

0  搭建HDFS联邦集群实验的准备：  
1）修改VirtualBox的虚拟机的名称
master1
master2
slave1
slave2

2）vi /etc/hosts  每台都要修改

192.168.56.9 master1
192.168.56.10 master2
192.168.56.11 slave1
192.168.56.12 slave2

3) SSH免密设置
1）为简化实验步骤，只配置
从master1主机到slave1，slave2主机的SSH免密登陆；
从master2主机到slave1，slave2主机的SSH免密登陆；

为稳妥起见，也可以把任意4个虚拟机之间的SSH免密登陆都配置一遍（配置SSH免密登录方法参考HAdoop HA实验）

4）对master1，master，slave1和slave2这4个主机都要清除无效的本地数据文件

执行命令 cd  /root/hdfs/tmp切换该目录，执行命令rm -rf /root/hdfs/tmp/* 清空目录所有的垃圾数据文件

5）剩下的步骤，参考本实验文档https://blog.csdn.net/qq_35447918/article/details/101761798完成实验即可

 

 

实验步骤：

1）先从完全分布式集群中的master主机复制一台新虚拟机，必须关机才能复制,  完成后启动新虚拟机

2）在新建虚拟机自带界面登陆, 通过配置文件修改虚拟机IP地址为192.168