CDH简单介绍及体系架构的理解(优点和功能)

1、官网介绍:

CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。

简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。

2、为什么选择CDH部署Cluster

1）CDH基于稳定版Apache Hadoop，并应用最新Bug修复或者Feature的Patch

2）Cloudera官网上安装、升级文档十分详细

3）CDH支持Yum包、tar包、RPM包，Cloudera Manager四种安装方式。推荐使用Yum、Apt方式安装

对于CDH的安装，后期我会分别使用yum和Cloudera Manager两种方式进行安装。在这里先说下Cloudera Manager的功能。

3、Cloudera Manager的功能

1）管理：对集群进行管理，例如添加、删除节点等操作

2）监控：监控集群的健康情况，对设置的各种指标和系统的具体运行情况进行全面的监控

3）诊断：对集群出现的各种问题进行诊断，并且给出建议和解决方案

4）集成：多组件可以进行版本兼容间的整合

当然以上所画图只是一些基础,还有很多大数据组件没有画。

下面对图中体系结构做些简单说明：

数据整合

flume主要是日志采集组件,可以从tomcat服务日志或者nginx日志中获取产生的日志

sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

nfs是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。

HDFS

hdfs是一个分布式文件存储系统,可以将大量的大文件进行存储,它和其他的分布式文件系统的主要区别是它是一个高容错的系统,适合部署在廉价的机器上,并且hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

Hbase

官网解释:

当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。Apache HBase是一个开源的，分布式的，版本化的非关系数据库，模仿Google的Bigtable： Chang等人的结构化数据分布式存储系统。正如Bigtable利用Google文件系统提供的分布式数据存储一样，Apache HBase在Hadoop和HDFS之上提供类似Bigtable的功能。