Cloudera 之旅 ☞ 【一】环境熟悉

Cloudera 之旅

Cloudera Manager

术语

1. 动态资源池
   配置及用于在池中运行的 YARN 应用程序或 Impala 查询之间安排资源的策略
2. 服务
   如：MapReduce、HDFS、YARN、Spark 和 Accumulo
3. 服务实例
   例如HDFS会有多个实例，运行在集群中的多台机器上面
4. 角色
   服务的具体类别。如，HDFS包含如下角色：NameNode、SecondaryNameNode、DataNode 和 Balancer
5. 角色实例
   在主机上运行的角色的实例。它通常映射至 UNIX 进程。例如：“NameNode-h1”和“DataNode-h1”。
6. 角色组
   一组角色实例的一组配置属性
7. 静态服务池
   一组服务中的总集群资源（CPU、内存和 I/O 权重）的静态分区。

体系结构

Cloudera Manager 的核心是 Cloudera Manager Server。Server 托管 Admin Console Web Server 和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。

细分组件：
- Agent - 安装在每台主机上。它负责启动和停止进程，解压缩配置，触发安装和监控主机。
- Management Service - 一项包括执行各种监控、报警和报告功能的一组角色的服务。
- 数据库 - 存储配置和监控信息
- Cloudera 存储库 - 可供 Cloudera Manager 分配的软件的存储库（repo库）
- 客户端 - 是用于与服务器进行交互的接口：
- Admin Console - 管理员控制台
- API - 开发人员使用 API 可以创建自定义的 Cloudera Manager 应用程序

信号检测

默认情况下，Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是，为了减少用户延迟，在状态变化时会提高频率。

状态管理

模型状态捕获什么进程应在何处运行以及具有什么配置
运行时状态是哪些进程正在何处运行以及正在执行哪些命令（例如，重新平衡 HDFS 或执行备份/灾难恢复计划或滚动升级或停止）
当您更新配置（例如，Hue Server Web 端口）时，您即更新了模型状态。但是，如果 Hue 在更新时正在运行，则它仍将使用旧端口。当出现这种不匹配情况时，角色会标记为具有“过时的配置”。要重新同步，您需重启角色（这会触发重新生成配置和重启进程）
特殊情况 如果要加入一些clouder manager控制台没有的属性时候都在高级里面嵌入

服务器和客户端配置

如使用 HDFS，文件 /etc/hadoop/conf/hdfs-site.xml 仅包含与 HDFS 客户端相关的配置。
而 HDFS 角色实例（例如，NameNode 和 DataNode）会从 /var/run/cloudera-scm-agent/process/unique-process-name 下的每个进程专用目录获取它们的配置。

进程管理

在 Cloudera Manager 管理的群集中，只能通过 Cloudera Manager 启动或停止服务。Cloudera Manager 使用一种名为 supervisord 的开源进程管理工具，它会重定向日志文件，通知进程失败，为合适用户设置调用进程的有效用户 ID 等等。Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败，Cloudera Manager 还会用不良状态标记该实例。
特别需要注意的是，停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集；所有正
在运行的实例都将保持运行。
Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时，Agent 会在 /var/run/cloudera-scm-agent 中为它创建一个目录，并解压缩配置。
Agent 受到监控，属于 Cloudera Manager 的主机监控的一部分：如果 Agent 停止检测信号，主机将被标记为运行状况不良。

主机管理

Cloudera Manager 自动将作为群集中的托管主机身份：JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机。
Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作。
Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量，以使您可以监控主机的运行状况和性能。

安全

身份验证

Hadoop 中身份验证的目的仅仅是证明用户或服务确实是他或她所声称的用户或服务
通常，企业中的身份验证通过单个分布式系统（例如，轻型目录访问协议 (LDAP) 目录）进行管理。LDAP 身份验证包含由各种存储系统提供支持的简单用户名/密码服务。
Hadoop 生态系统的许多组件会汇总到一起来使用 Kerberos 身份验证并提供用于在 LDAP 或 AD 中管理和存储凭据的选项

授权

CDH 当前提供以下形式的访问控制：
- 适用于目录和文件的传统 POSIX 样式的权限
- 适用于 HDFS 的扩展的访问控制列表 (ACL)
- Apache HBase 使用 ACL 来按列、列族和列族限定符授权各种操作 (READ, WRITE, CREATE, ADMIN)。
- 使用 Apache Sentry 基于角色进行访问控制。

加密

需要获得企业版的Cloudera（Cloudera Navigator 许可）

Cloudera Management Service

Cloudera Management Service 可作为一组角色实施各种管理功能

• Activity Monitor - 收集有关 MapReduce 服务运行的活动的信息。默认情况下未添加此角色。
• Host Monitor - 收集有关主机的运行状况和指标信息
• Service Monitor - 收集有关服务的运行状况和指标信息以及 YARN 和 Impala 服务中的活动信息
• Event Server - 聚合 relevant Hadoop 事件并将其用于警报和搜索
• Alert Publisher - 为特定类型的事件生成和提供警报
• Reports Manager - 生成报告，它提供用户、用户组和目录的磁盘使用率的历史视图，用户和 YARN 池的处理活动，以及 HBase 表和命名空间。此角色未在 Cloudera Express 中添加。

参考：
http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cdh_rn_upgrade.html