集群搭建笔记

1 hadoop HA集群服务规划：

机器ip	192.168.52.100	192.168.52.110	192.168.52.120
主机名称	node01.hadoop.com	node02.hadoop.com	node03.hadoop.com
NameNode	是(active)	是(standBy)	否
DataNode	是	是	是
journalNode	是	是	是
ZKFC	是	是	否
ResourceManager	否	是（standBy）	是(active)
NodeManager	是	是	是
zookeeper	是	是	是
jobHistory			是

2 Hadoop Federation

        目的：解决namenode内存瓶颈问题的水平横向扩展方案 

        在集群中将会有多个namenode/namespace。这些namenode之间是联合的，也就是说，他们之间相互独立且不需要互相协调，各自分工，管理自己的区域。分布式的datanode被用作通用的数据块存储存储设备。每个datanode要向集群中所有的namenode注册，且周期性地向所有namenode发送心跳和块报告，并执行来自所有namenode的命令。

        概括起来：

        多个NN共用一个集群里的存储资源，每个NN都可以单独对外提供服务。

        每个NN都会定义一个存储池，有单独的id，每个DN都为所有存储池提供存储。

        DN会按照存储池id向其对应的NN汇报块信息，同时，DN会向所有NN汇报本地存储可用资源情况。

2.1 HDFS Federation不足

        HDFS Federation并没有完全解决单点故障问题。虽然namenode/namespace存在多个，但是从单个namenode/namespace看，仍然存在单点故障：如果某个namenode挂掉了，其管理的相应的文件便不可以访问。

3 clouderaManager

        hadoop集群的图形化管理界面，可以通过ClouderaManager管理界面来对我们的集群进行安装和操作，提供了良好的UI界面交互，使得我们管理集群不用熟悉任何的linux技术，只需要通过网页浏览器就可以实现我们的集群的操作和管理

3.1 ClouderaManager整体架构

        Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。