Ambari Metrics介绍

深入理解AmbariMetrics：集群状态监控系统
最新推荐文章于 2025-09-11 08:52:24 发布
原创 最新推荐文章于 2025-09-11 08:52:24 发布 · 1.7w 阅读 · 2 ·
CC 4.0 BY-SA版权
本文为博主原创文章，未经博主允许不得转载。
文章标签：

#ambari #metrics #ams #collector

本文详细介绍了AmbariMetrics在Ambari集群中的作用，包括其核心概念、架构、配置和数据生命周期管理。重点阐述了如何通过安装在每个节点的MetricsMonitor收集系统级指标和通过特定Hadoop组件的Sink收集Hadoop组件指标，并说明了将数据存储在HBase和配置数据保留时间的重要性。

概念

Ambari Metrics是Ambari中负责监控集群状态的功能组件。它有如下一些主要的概念：

TerminologyDescription
Ambari Metrics System (“AMS”)The built-in metrics collection system for Ambari.
Metrics CollectorThe standalone server that collects metrics, aggregates metrics, serves metrics from the Hadoop service sinks and the Metrics Monitor.
Metrics Hadoop SinksPlugs into the various Hadoop components sinks to send Hadoop metrics to the Metrics Collector.
Metrics MonitorInstalled on each host in the cluster to collect system-level metrics and forward to the Metrics Collector.

简单地说，Ambari收集两类信息放到Collector上：
1. 各节点“系统级”的指标
2. Hadoop各组件的指标
前者是通过安装在每个节点上的Metrics Monitor（就是Agent）来收集的，后者是通过面向特定Hadoop组件的Sink（概念上和Flume的Sink是一样的）来收集的。
最后补充一一点，Collector是使用HBase存放Metrics数据的。

架构

配置

配置Ambari Metrics为分布式模式

默认安装时Ambari Metrics为embedded模式，这样收集的所有数据是存放在Collector节点的本地的，大量的Metrics数据会挤占大量的本地存储空间，该为分布式模式后Metrics数据会放置到HDFS上，所以通常这是安装Ambari后必备一个操作。具体的操作可以参考： http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.0.0/bk_ambari_reference_guide/content/_configuring_ambari_metrics_for_distributed_mode.html

配置Metrics数据的生命周期

大量的Metrics会占用非常大的存数空间，设定Metrics数据的保留时间（TTL）是很必要的，控制Metrics数据保留时间的参数位于ams-site.xml中，以下是相关的配置项：

配置项默认值描述
timeline.metrics.host.aggregator.ttl864001 minute resolution data purge interval. Default is 1 day.
timeline.metrics.host.aggregator.minute.ttl604800Host based X minutes resolution data purge interval. Default is 7 days.(X = configurable interval, default interval is 2 minutes)
timeline.metrics.host.aggregator.hourly.ttl2592000Host based hourly resolution data purge interval. Default is 30 days.
timeline.metrics.host.aggregator.daily.ttl31536000Host based daily resolution data purge interval. Default is 1 year.
timeline.metrics.cluster.aggregator.minute.ttl2592000Cluster wide minute resolution data purge interval. Default is 30 days.
timeline.metrics.cluster.aggregator.hourly.ttl31536000Cluster wide hourly resolution data purge interval. Default is 1 year.
timeline.metrics.cluster.aggregator.daily.ttl63072000Cluster wide daily resolution data purge interval. Default is 2 years.
Ambari Metrics 服务器详解
GnabVue的博客
10-02 402
它使用 Apache Hadoop 的 Hadoop Metrics2 框架来收集和汇总指标数据，并提供 RESTful API 和 Web 用户界面，以便用户可以方便地查看和分析指标数据。通过配置和启动 Metrics 服务器，并使用提供的 API 和界面，管理员和开发人员可以方便地收集、存储和分析集群的指标数据，以便及时发现和解决潜在的性能问题。它提供了一个完整的解决方案，用于收集、存储和可视化集群的性能指标，以便帮助管理员和开发人员监控集群的健康状况和性能。如果你有任何进一步的问题，请随时提问。
Ambari Metrics监控显示不出来问题
周源的专栏
08-25 7250
了解监控原理（此处不详细介绍，google、百度了解）： 简单来说： metrics monitor、hadoop sinks ->metrics collector； AMS （Ambari Metrics System）收集数据最终由 Metrics Collector 中的 Timeline Server 保存到 Hbase(注意此处是ams自带的hbase而不是hbase安装服务
Ambari Metrics(相关API,底层数据库，widget等）
随心的专栏
08-21 4520
Ambari Metrics系统（AMS）是用来收集、聚合Hadoop集群中监控信息的。 功能 能够收集Hadoop及其他Ambari Stacks服务里的Metrics信息； 有一定的存储能力，能够将高精度的Metrics信息保存一段时间（例如能够保存5天内的Metrics信息，时间可配置）； 能够将过期的Metrics信息自动清理掉； 在collection time,...
AmbariMetrics详解.docx
01-14
AmbariMetrics详解，详述AmbariMetrics概念，以及API接口，技术架构等
【Ambari监控】Ambari-Metrics 的演进过程
最新发布
TTBIGDATA的博客
09-11 576
本文解析了Ambari-Metrics组件在不同版本中的源码位置变化。在2.7.9及之前版本，该组件直接集成在Ambari主仓库中；从2.8.0版本开始，被移出主仓成为独立仓库。作者推测这一变化源于架构解耦、生态适配和社区治理的需求。独立后的Ambari-Metrics具有更灵活的发布节奏和维护方式，便于与外部监控系统集成。文章通过版本对比表清晰展示了这一演进过程。
Ambari的Metrics Collector启动后自动关闭的解决
徐小慧_Blog的博客
08-30 2388
在使用Ambari的时候，由于种种原因，难免会出现这样那样的问题。今天，我们就来看一下Ambari-Metrics启动成功几秒钟后又自动关闭的解决办法。 1.如下图，某一节点Metrics Collector 启动后自动关闭 2.在安装Ambari-Metircs的机器上面查看服务是否关闭：使用ambari-metrics-monitor status和ambari-metrics-collector status命令查看。可以看到ambari-metrics-collector是停止状态。 3.如果服
Ambari Metrics 详解
mnasd的博客
11-30 2926
Ambari 作为一个出色的集群管理软件，为第三方服务提供了丰富的功能。其中 Ambari Metrics System 为第三方服务以及集群机器提供了性能相关的监察功能。本文主要讲解 Ambari Metrics 框架的原理，以及如何集成该系统与第三方服务。 Ambari 现状 Ambari 最新的发行版已经到了 2.2.1 的版本，提供了更多的管理功能，例如在 2.2 的版本中支持了 Ex...
深入Ambari Metrics 机制分析
江河万川
03-28 9014
0.简介　　Ambari作为一款针对大数据平台的运维管理工具，提供了集群的创建，管理，监控，升级等多项功能，目前在业界已经得到广泛使用。Ambari指标系统（ Ambari Metrics System，以下简称AMS）主要负责监控平台各类服务及主机的运行情况，提供各类服务及主机的相关指标，从而达到判断集群健康情况的目的，其重要性不言而喻。 本文是在深入阅读AMS源代码的基础之上，力求能够
一波三折！三千字记录 Ambari Metrics 监控无数据的详细排查过程
CREATE_17的博客
02-10 559
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！大家好，我是EDP团队成员，今天给大家分享下 Ambari Metrics 监控无数据的排查过程，最终监视数据已正常显示，希望我接下来的分享给大家带来一些帮助和启发????一、前言本文主要分享如何排查 ambari 监控无数据的相关问题，其他监...
【Ambari】ambari metrics 启动报错hbase-xxx-master.pid doesn‘t exist
人生所向，皆是美好
03-25 3927
文章目录问题描述解决办法 问题描述 在ambari启动ambari-metrics总是报错：resource_management.core.exceptions.Fail: Pid file /var/run/ambari-metrics-collector//hbase-ocdp-master.pid doesn't exist after starting of the component....
ambari之metrics整理
zxl1033394132的专栏
06-23 4533
1、metrics概念介绍： metrics中文意思指标，在amabri中监控系统指标跟hadoop组件的指标信息主要通过amabri-metrics-monitor和hadoop-sink来进行收集。其中monitor监控系统级别信息（例如cpu/memory等信息，该模块只通过使用python脚本中的一个psutil–系统性能信息模块）；hadoop-sink用于收集hadoop组件的相关信息
Ambari Metrics Collector 架构
weixin_34303897的博客
04-28 435
Metrics Collector 架构图，由图中看，主要有4部分：TimelineWebServices：是一个Web服务，一方面提供 Metrics Monitor 和 Metrics Sink 汇报监控数据的 POST 接口；另一方面提供 Ambari Server 查询监控数据的 GET 接口。TimelineMetricStore：周期性聚合数据。Phoenix：是一个开源工具库，可...
Ambari-Metrics数据表说明
江河万川
11-04 3282
1.总体Metrics表说明 表名 描述 清理时间（默认） 间隔(默认) METRIC_RECORD 用于记录每个机器上收集的每个 Metrics 属性 1 天 (1)主机Metric：60 (2)hadoop metric:60+1(sink间隔)，默认为70s METRIC_RE
Ambari-Metrics配置指南
江河万川
08-24 5842
Ambari-Metrics配置指南 1.常规配置项 属性 默认值 说明 timeline.metrics.service.operation.mode (timelineServer里面存储实际Metric数据hbase的模式，默认为embedded,即hbase数据存储在本地文件系统中) embedded 改成di
Ambari监控启动失败Metrics Collector报错：OutOfMemoryError
zhang546030919的博客
06-15 1549
Ambari监控Metrics Collector 启动后不久就挂掉，经查看/var/log/ambari-metrics-collector下的日志ambari-metrics-collector.log 发现：Metrics Collector报错：OutOfMemoryError 然后修改Metrics Collector的配置文件 修改相关配置文件之前需要注意查看hbase的相关配置，否则会出现其他的问题。 重启Metrics Collector 服务即可并查看相关日志。 .
【亲测免费】 Apache Ambari Metrics：统一的集群监控利器
gitblog_00085的博客
08-06 837
Apache Ambari Metrics：统一的集群监控利器 项目介绍 在大数据处理的复杂生态中，监控是确保系统稳定运行的关键。Apache Ambari Metrics（简称AMS）正是为了解决这一需求而生。作为Apache Ambari的一个子项目，AMS致力于提供一套全面的解决方案，用于收集、聚合、服务和可视化由Ambari管理的集群中的守护进程和服务指标。自Ambari 2.0.0版本起...
(转)深入Ambari Metrics 机制分析
Show something
05-19 2082
0.简介　　Ambari作为一款针对大数据平台的运维管理工具，提供了集群的创建，管理，监控，升级等多项功能，目前在业界已经得到广泛使用。Ambari指标系统（ Ambari Metrics System，以下简称AMS）主要负责监控平台各类服务及主机的运行情况，提供各类服务及主机的相关指标，从而达到判断集群健康情况的目的，其重要性不言而喻。 本文是在深入阅读AMS源代码的基础之上，力求能够从监控
如何利用ambari metrics集成zookeeper指标
05-18
要将zookeeper指标集成到Ambari Metrics中，您需要执行以下步骤： 1. 安装和配置Ambari Metrics Collector和Ambari Metrics Monitor。 2. 在每个zookeeper节点上安装和配置Metrics Collector和Metrics Monitor。 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laurence　

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值