Cloudera Manager是cloudera公司提供的一种大数据的解决方案,可以通过ClouderaManager管理界面来对我们的集群进行安装和操作,提供了良好的UI界面交互,使得我们管理集群不用熟悉任何的linux技术,只需要通过网页浏览器就可以实现我们的集群的操作和管理,让我们使用和管理集群更加的方便。
1、ClouderaManager整体架构
Cloudera Manager的核心是Cloudera Manager Server。Server托管Admin Console Web Server和应用程序逻辑。它负责安装软件、配置、启动和停止服务以及管理运行服务的群集。
解释:
• Agent:安装在每台主机上。它负责启动和停止进程,解压缩配置,触发安装和监控主机
• Management Service:执行各种监控、报警和报告功能的一组角色的服务。
• Database:存储配置和监控信息
• Cloudera Repository:可供Cloudera Manager分配的软件的存储库(repo库)
• Client:用于与服务器进行交互的接口:
• Admin Console:管理员控制台
• API:开发人员使用 API可以创建自定义的Cloudera Manager应用程序
Cloudera Management Service
Cloudera Management Service 可作为一组角色实施各种管理功能
• Activity Monitor:收集有关服务运行的活动的信息
• Host Monitor:收集有关主机的运行状况和指标信息
• Service Monitor:收集有关服务的运行状况和指标信息
• Event Server:聚合组件的事件并将其用于警报和搜索
• Alert Publisher :为特定类型的事件生成和提供警报
• Reports Manager:生成图表报告,它提供用户、用户组的目录的磁盘使用率、磁盘、io等历史视图
信号检测
默认情况下,Agent 每隔 15 秒向 Cloudera Manager Server 发送一次检测信号。但是,为了减少用户延迟,在状态变化时会提高频率。
状态管理
• 模型状态捕获什么进程应在何处运行以及具有什么配置
• 运行时状态是哪些进程正在何处运行以及正在执行哪些命令(例如,重新平衡 HDFS 或执行备份/灾难恢复计划或滚动升级或停止)
• 当您更新配置(例如Hue Server Web 端口)时,您即更新了模型状态。但是,如果 Hue 在更新时正在运行,则它仍将使用旧端口。当出现这种不匹配情况时,角色会标记为具有”过时的配置”。要重新同步,您需重启角色(这会触发重新生成配置和重启进程)
• 特殊情况如果要加入一些clouder manager控制台没有的属性时候都在高级里面嵌入
服务器和客户端配置
• 如使用HDFS,文件 /etc/hadoop/conf/hdfs-site.xml 仅包含与 HDFS 客户端相关的配置
• 而 HDFS 角色实例(例如,NameNode 和 DataNode)会从/var/run/cloudera-scm-agent/process/unique-process-name下的每个进程专用目录获取它们的配置
进程管理
• 在 Cloudera Manager 管理的群集中,只能通过 Cloudera Manager 启动或停止服务。ClouderaManager 使用一种名为 supervisord的开源进程管理工具,它会重定向日志文件,通知进程失败,为合适用户设置调用进程的有效用户 ID 等等
• Cloudera Manager 支持自动重启崩溃进程。如果一个角色实例在启动后反复失败,Cloudera Manager还会用不良状态标记该实例
• 特别需要注意的是,停止 Cloudera Manager 和 Cloudera Manager Agent 不会停止群集;所有正在运行的实例都将保持运行
• Agent 的一项主要职责是启动和停止进程。当 Agent 从检测信号检测到新进程时,Agent 会在/var/run/cloudera-scm-agent 中为它创建一个目录,并解压缩配置
• Agent 受到监控,属于 Cloudera Manager 的主机监控的一部分:如果 Agent 停止检测信号,主机将被标记为运行状况不良
主机管理
• Cloudera Manager 自动将作为群集中的托管主机身份:JDK、Cloudera Manager Agent、CDH、Impala、Solr 等参与所需的所有软件部署到主机
• Cloudera Manager 提供用于管理参与主机生命周期的操作以及添加和删除主机的操作
• Cloudera Management Service Host Monitor 角色执行运行状况检查并收集主机度量,以使您可以监控主机的运行状况和性能
安全