Cloudera Manager大数据平台

一、CDH概述：

前言：

Cloudera 提供了 Hadoop 的商业发行版 CDH ，能够十分方便地对 Hadoop 集群进行安装、部署里面不仅包含了 loudera 的商业版 Hadoop ，同时 DH 中也包含了各类常用的开源数据处理与存储框架，如 Spark Hive HBas 等。

• CDH和Hadoop对比

Hadoop 大致 分为 Apache Hadoop 和第三方发行版 Hadoop。 考虑到Hdoop 集群部署的高效性、 集群 稳定性以及后期集中的配置管理，业界大多使用 Cloudera 公司的发行版CDH。
Apache Hadoop 本虽然完全开源 但是 存在诸多问题：
1， 本管理比较混乱， 让人有些无 所适从。
2，集群部署 置较 复杂，通常按照集群需要编写大量 配置文件， 分发 台节点上
容易出错 效率低下
3，对集群 监控 运维 需要安装第三方的其 软件，运维难度较大。
4，在 Hadoop 生态圈中 组件的选择 使用， ve Mahout Sqoop Flum Sp
Oozie 需要大量考虑兼容性的 经常会浪费大量的时间去编译组件，解决版本冲突问题。

CDH Hadoop 的优势在于：

（1）基于 Apache 100 %开源， 版本管理清晰
（2）在兼容性、 安全性 稳定性上 Apache Hadoop 有大幅度 增强。
(3 ）运维简单方便 对于 Hadoop 集群提供管理、诊断、监控、配置更改等功能，使得运维工作 常高效，而且群集节点越多 优势越明显。
(4 ) CDH 供成体系的文档、很多大公司的应用案例以及商业支持等。

二、大数据平台管理介绍

Cloudera Manager 概述和整体架构

Cloudera Manager （简称CM）是为了便于在集群中进行 Hadoop 等大数据 理相关的服务安装和监控管理的组件， 对集群中主机 Hadoop Hive Spark 等服务的安装配置管理做了极大简化。
它是Hadoop 群的软件分发及管理监控平台 通过它 快速 部署好 Hadoop 集群，井对
集群的节点及 服务进行行实时监控。

Cloudera Manager 的核心是 Cloudera Manager Server ，它包括以下组件。

Server：托管 Admin Console Web Server 和应用程序逻辑 它负责安装软件、配直、启动和停止服务及管理运行服务的群集。

Agent：安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机。默认情况下，Agent每隔15秒向Cloudera Manager Server发送一次检测信号。但是，为了减少用户延迟，在状态发生变化时会提高频率。如果Agent停止检测信号，主机将被标记为运行状况不良。

CDH平台6个角色的作用如下：

寄语专区：