Cloudera Manager大数据管理平台介绍

简介

Cloudera企业解决方案包括Cloudera Hadoop发行版（Cloudera’s Distribution Including Apache Hadoop，简称CDH），Cloudera Manager（CM）等。概括起来说，Cloudera提供一个可伸缩，稳定的，综合的企业级大数据管理平台，它拥有最多的部署案例，提供强大的部署，管理和监控工具。Cloudera Manager提供Admin Console，这是基于Web的用户界面，使得企业数据管理更加容易方便。Coudera Manager易于升级和安装Hadoop组件，还提供了在几分钟之内建立集群主节点的高可用（High Availability）。它还包括Cloudera Manager API，可用来获取集群运行状态以及配置Coudera Manager。

Cloudera Manager有四大功能：
（1）管理：对集群进行管理，如添加、删除节点等操作。
（2）监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。
（3）诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。
（4）集成：对hadoop的多组件进行整合。

Cloudera Manager概述

Cloudera Manager(简称CM)是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机，Hadoop，Hive，Spark等服务的安装和配置做了极大的简化。他是Hadoop集群的软件分发及管理平台，通过它可以快速部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。详情参见：官方链接

Cloudera Manager功能概述

一.状态管理
　　(1)Cloudera Manager Server 维护了集群的各种状态。状态可分为两类：模块和运行时，两者都存储于CMS的数据库中。
　　(2)模块包含集群，主机，服务，角色，配置。运行时包含进程，命令。

二.配置管理（CM在多个层面定义了配置）
　　(1)服务层面
　　　　　　可定义整个服务实例层面的配置，如HDFS服务的默认副本因子，
　　(2)角色组层面
　　　　　　可定义某个角色组的配置，如DataNode的处理线程数量，可根据DataNodes的不同分组进行不同的配置。
　　(3)角色层面
　　　　　　可覆盖从角色层面继承的配置。这种配置需要谨慎使用，因为会造成角色组中的配置分歧。如因为拍错需求临时启用某个角色实例的DEBUG日志。
　　(4)主机层面
　　　　　　根据监控，软件管理，资源管理的不同有不同的配置。
　　(5)CM自身也有很多与管理操作相关的配置。

三.进程管理
　　(1)非CM管理的集群使用脚本进行角色进程的启动，但在CM管理的集群中这类脚本不起作用。
　　(2)CM管理的集群中，只能使用CM进行角色进程的启停，CM使用开源的进程管理名为supervisord，其会启动进程，重定向日志，通知进程失败，为进程设置正确的用户ID等等。CM支持自动重启一个崩溃的进程。如果一个进程在启动会频繁崩溃，还会被大声非健康标记。
　　(3)停止CMS和CM代理不会使正在运行的进程被中止。

四.软件包管理
　　CM支持两种软件分发格式：packages和parcels。
　　(1)package
　　　　　　是一种二进制分发格式，包含编译的代码和元数据如包描述，版本，依赖项。包管理系统评估此元数据以允许包搜索，执行升级，确保包的所有依赖关系得到满足。CM使用本地操作系统支持的包管理程序。
　　(2)parcel
　　　　　　也是一种二进制分发格式，包含CM需要使用的附加元数据。其余package的却别有：可安装同一个parcel的多个版本，并激活其中一个；parcel可安装到任何路径；通过parcel安装，CM会自动下载并激活和每个节点操作系统版本匹配的parcel包，解决某些操作系统版本不一致问题。

五.主机管理
　　(1)CM提供了多种功能以管理Hadoop集群的主机。第一次运行CM管理控制台时，可搜索主机并添加到集群，一旦选中了主机就可以为其分配CDH角色。CM会在主机上自动部署作为集群托管节点所有软件：JDK，CM agent，CDH，Impala，Solr等等。
　　(2)服务部署并运行后，管理员控制台中的“Hosts”区域显示集群中托管主机的总体状态。提供的信息包括主机上的CDH版本，主机所属的集群，运行在主机上的角色的数量。Cloudera管理服务中的主机监控角色执行监控检查并收集主机的统计信息，以允许你监控主机的监控和性能。

六.资源管理
　　CM允许使用两种资源管理方式：
　　(1)静态资源池
　　　　　　使用Linux cgroups在多个服务间静态进行资源隔离，如HBase，Impala，Yarn分别使用一定百分比的资源。静态资源池默认不启用。
　　(2)动态资源池
　　　　　　用于某些服务内部的资源管理，如Yarn的各种资源调度器，Impala也可对不同池中的查询动态分配资源。

七.用户管理
　　(1)访问CM通过用户账户进行控制。用户账户标识如何对用户进行身份验证，并确定授予用户的权限。
　　(2)CM提供了多种用户认证机制。可以配置CM使用CM数据库认证用户，或使用某种外部认证服务。外部认证服务可以是LADP服务器，或者指定的其他服务。CM还支持使用安全断言标记语言（SAML）来实现单点登录。

八.安全管理
　　(1)认证：
　　　　　　认证是指用户或服务证明其有访问某种系统资源的权限。Cloudera集群支持操作系统认证，LDAP，Kerberos等认证方式。LDAP和Kerberos并不是互斥的，很多时候可以一起使用。
　　(2)授权：
　　　　　　授权关注谁可以存取或控制指定的资源或服务。CDH目前支持以下几种权限控制：
　　　　　　　　1>.传统的POSIX形式的目录和文件权限控制；
　　　　　　　　2>.HDFS扩展的ACL细粒度权限控制；
　　　　　　　　3>.HBase可对用户和组设置各种操作的ACL；
　　　　　　　　4>.使用Apache Sentry进行基于角色的全下控制；
　　(3)加密：
　　　　　　集群不同层面存储和传输的数据支持不同的加密方式。

九.Cloudera管理服务
　　Cloudera Management Service 实现了多种管理特性，包括活动监视，主机监控，服务监控，时间服务，告警发布，报表管理等。

Cloudera Manager基本核心功能

Cloudera Manager作为Hadoop大数据平台的管理工具，能够有效地帮助用户更容易地使用Hadoop。他的核心功能分为四大模块：管理功能，监控功能，诊断功能和集成功能。

一.Cloudera Manager提供的管理功能
　　(1)批量自动化部署节点
　　　　　　CM提供强大的Hadoop集群部署能力，能够批量的自动化部署节点。安装一个Hadoop集群只需添加安装的节点，安装需要的组件和服务角色这三步，大大缩短了Hadoop的安装时间，也简化来Hadoop的安装过程。
　　(2)可视化的参数配置功能
　　　　　　Hadoop包含许多组件，不同组件都包含各种各样的XML配置文件。CM提供界面GUI可视化参数配置功能。
　　(3)智能参数验证以及优化
　　　　　　当用户配置部分参数值有问题时，CM会给出智能错误提示，帮助用户更合理地修改配置参数。
　　(4)高可用配置
　　　　　　CM对关键的组件使用HA部署，如NameNode高可用可以通过CM的Web管理界面，根据向导启用HDFS HA。
　　(5)权限管理
　　　　　　提供不同级别的管理权限，比如只度用户访问Cloudera Manager的界面时，所有服务对应的启停等操作选项都不可用。

二.Cloudera Manager提供的监控功能
　　(1)服务监控
　　　　　　查看服务和实力级别健康检查的结果，对设置的各种指标和系统运行情况进行全面监控。如果任何运行情况测试是不良（Bad），则服务或者角色的状态就是不良（Bad）。如果结果运行状况存在隐患（Concering，没有任意一项目是不良（Bad）），则服务或者角色的状况就是存在隐患（Concerning）。而且系统会对管理员应该采取得到行动提出建议。
　　(2)主机监控
　　　　　　监控集群内所有主机的有关信息，包括主机上目前消耗的内存，主机上运行的角色分配等，不但显示所有集群主机的汇总视图，而且能进一步显示单个主机关键指标详细视图。
　　(3)行为监控
　　　　　　CM提供来列表和图表来查看集群上进行的活动，不仅显示当前正在执行的任务行为，还可以通过仪表盘查看历史活动。
　　(4)事件活动
　　　　　　监控界面可以查看事件，系统管理员可以通过时间范围，服务，主机，关键字等信息过滤事件。
　　(5)报警
　　　　　　通过配置CM可以对指定的时间产生警报，并通过电子邮件或者SNMP的事件得到制定的警报通知。
　　(6)日志和报告
　　　　　　可以轻松点击一个链接查看相关的特定服务的日志条目，并且Cloudera Manager可以将收集的历史日志监控数据统计生成报表。

三.Cloudera Manager提供的诊断功能
　　(1)周期性服务诊断
　　　　　　CM会对集群中运行的服务进行周期性的运行状况测试，以检测这些服务的状态是否正常。如果有异常情况，就会进行告警，有利于更早地让用户感知集群服务存在的问题。
　　(2)日志采集及检索
　　　　　　对于一个大规模的集群，CM提供了日志收集功能，能够通过统一的界面查看集群中每台及其，各项服务的日志，并且能够根据日志级别等不同的条件进行检索。
　　(3)系统性能使用报告
　　　　　　CM能够查看系统性能使用报告，包括集群的CPU使用率，单节点的CPU使用率，单个进程的CPU使用率等各项性能数据，这对于Hadoop集群的性能调试很重要。

四.Cloudera Manager提供的集成功能
　　(1)安全配置
　　　　　　为了方便Hadoop大数据平台与原有身份认证系统如AD，LDAP等的集成，CM只需在界面上配置即可完成。
　　(2)Cloudera Manager API
　　　　　　通过Cloudera Manager API，能够方便地将CM集成到企业原有管理系统集成。
　　(3)SNMP集成
　　　　　　CM也提供了方便的SNMP集成能力，只要简单的配置，就能够将SNMP进行集成，并且将集群中的告警信息进行转发。

Cloudera Manager高级功能

Cloudera Manager的高级功能在免费的Express版本中是不提供的。
　　(1)软件升级滚动
　　　　　　Hadoop版本升级和bug修复，通常会影响业务的连续性。CM提供了滚动升级的功能，支持Hadoop平台进行滚动升级时继续对外提供服务以及应用。
　　(2)参数版本控制
　　　　　　任何时候进行配置修改并保存之后，Cloudera Manager会对该配置生成一个版本。Cloudera Manager支持查看历史配置，并回滚到不同版本，从而为集群恢复，问题诊断等提供了一个可靠的一句和方便的工具。
　　(3)备份及容灾系统BDR
　　　　　　Cloudera为Hadoop平台提供一个集成的，易用的灾备解决方案。BDR为灾备方案提供了丰富的功能，CM和BDR提供了完整的用户画像，实现界面化的数据备份与灾难恢复。
　　(4)数据审计
　　　　　　Cloudera Navigator的审计功能支持对数据的审计和访问。
　　(5)安全集成向导
　　　　　　启用Kerberos集成和外部安全认证集成，如支持通过内部数据库和外部服务进行用户认证。

安装 Cloudera 详情参见： Cloudera安装指南