hadoop集群CDH系统搭建(一)

首先,要问一下,cdh是什么?
要安装部署100甚至1000台服务器的hadoop集群,还要包i括Hive,Hbase,Flume…组件,一天内搭建完成,还有就是考虑以后系统的更新问问题,那就需要CDH了

CDH版本的优点：
版本划分清晰
版本更新速度快
支持Kerberos安全认证
文档清晰（官方文档 ）
支持多种安装方式（Cloudera Manager方式）

框架的安装方式：
yum
rpm
tar
CM（只针对cdh版本）

1、大数据各个服务组件对服务器的资源需求情况？？

namenode： 
    有内存要求 
        内存与hdfs上数量大小的一个估算： 
            1000M内存 --  100万条元数据   
    对网络带宽有一定要求 
        与从节点datanode进行数据交互通信
datanode： 
    磁盘空间   4-24T 
    磁盘功能：冗余矩阵 （数据的备份）   
    hdfs的数据本身会有3个副本
resourcemanager： 
    网络带宽要求较高 
    经常与namenode部署一起  
nodemanager： 
    内存
    与datanode部署在一起 ？？ 
        MapReduce计算原理是移动计算而不是移动数据
zookeeper： 
    内存要求不高 
    磁盘容量要求不高
    磁盘的读写速度---ssd固态硬盘   
    网络带宽要求非常高   
hbase： 
    master : 
        可以与namenode和resourcemanager部署在一起，做热备  
        网络带宽要求较高   
        因为负载率比较低，所以对所在服务器的资源要求不是很高 
    regionserver： 
        与datanode部署一起 
        内存： 
            写内存  
                memstore  128M  
                根据store的数量决定memstore总的大小  
                region的结构： 
                    region是hbase表在rowkey行方向上的划分
                region： 
                    多个store组成，store的数量由列簇决定
                    每个store由一个memstore和多个storeFile组成    

            读内存 
                blockcache    heap_size*0.4  
                每个regionserver上一个blockcache    

spark集群  
    内存需求
    cup  

2、cloudera manager 技术架构

server：
主节点，部署在某一台服务器上（server服务进程需求预留8G内存）
与各个从节点进行通信搜集从节点发送的资源、进程等信息
负责集群框架组件的安装部署
负责集群的启动和停止
……

agent
从节点
也称为主机 （所以的大数据的框架的安装部署及服务进程的部署及任务的运行都是建立在主机节点上）
搜集所在服务器上的资源信息及其他框架组件的运行状态信息，然后统一汇报给server

database：
CM需要一个数据库的支持，