Ambari-Metrics数据表说明

1.总体Metrics表说明

表名

描述

清理时间(默认)

间隔(默认)

METRIC_RECORD

用于记录每个机器上收集的每个 Metrics 属性

1 天

(1)主机Metric:60

(2)hadoop metric:60+1(sink间隔),默认为70s

METRIC_RECORD_MINUTE

聚合统计每个机器上的Metrics属性

1 周

120

METRIC_RECORD_HOURLY

聚合统计每个机器上的Metrics属性

30 天

3600

METRIC_RECORD_DAILY

聚合统计每个机器上的Metrics属性

1 年

86400

METRIC_AGGREGATE

聚合统计所有机器上的Metrics属性(集群)

1 周

30

METRIC_AGGREGATE_MINUTE

聚合统计所有机器上的Metrics属性(集群)

30 天

120

METRIC_AGGREGATE_HOURLY

聚合统计所有机器上的Metrics属性(集群)

1 年

3600

METRIC_AGGREGATE_DAILY

聚合统计所有机器上的Metrics属性(集群)

2年

86400

2.各表详细说明

2.1 主机级别的表
2.1.1  METRIC_RECORD

该表是所有表中唯一存储实际metrics数据的表,其它表都是在此表的基础之上进行时间段的相应统计。

(1)针对采集的hosts指标,即由monitor发送的指标值

采集的metric记录,由{时间戳1:值,时间戳2:值,....}这样的记录组成,其中数目表现在Metric_count上,对于monitor发送的metric。为12条,每条间隔5秒种,然后一分钟向timelineServer发送一次,存入表中。

(2)针对采集的hadoopsink指标

采集的metric记录,由{时间戳1:值,时间戳2:值,....}这样的记录组成,每条间隔10秒钟,每隔70秒发送一次,采集7条,所以metric_count为7,一分钟向timelineServer发送一次,存入表中。

字段名称

类型

详细说明

METRIC_NAME

VARCHAR

Metric名字

HOSTNAME

VARCHAR

采集该Metric的主机名字

SERVER_TIME

UNSIGNED_LONG

Metric入进来的服务器时间

APP_ID

VARCHAR

采集该Metric的服务,如果是mem_free这样的机器信息则为HOST(即由Monitor发送过来的metric,其都为HOST),如果是dfs.*类似的Metric则其为datanode,namenode,nodemananger等等

INSTANCE_ID

VARCHAR

此次采集meitric的实例id,一般为空

START_TIME

UNSIGNED_LONG

开始采集Metric的时间,通常比服务器早一分钟,这一分钟是Monitor发送时间间隔时间或者Hadoop Sink配置的发送间隔时间

UNITS

CHAR

一般为空,有的为Long

METRIC_SUM

DOUBLE

该条Metrics中,所有Metric的总和

METRIC_COUNT

UNSIGNED_INT

该条Metrics中,统计的Metric数量

METRIC_MAX

DOUBLE

该条Metrics中的最大值

METRIC_MIN

DOUBLE

该条Metrics中的最小值

METRICS

VARCHAR

(1)针对采集的hosts指标,即由monitor发送的指标值

采集的metric记录,由{时间戳1:值,时间戳2:值,....}这样的记录组成,其中数目表现在Metric_count上,对于monitor发送的metric

默认间隔为12条,每条间隔5秒种,然后一分钟向timelineServer发送一次,存入表中。

(2)针对采集的hadoop sink指标

采集的metric记录,由{时间戳1:值,时间戳2:值,....}这样的记录组成,每条间隔10秒钟,每隔70秒发送一次,采集7条,所以metric_count为7,一分钟向timelineServer发送一次,存入表中。

2.1.2  METRIC_RECORD_MINUTE

由monitor或者hadoop sink每隔5分钟向该表中存入一条记录,用于统计此5分钟内所有meitric的属性,该表实则是以Metric_Record作为统计的基准。假设5分钟统计一次,以mem_free为例,则本次统计是以主机为单位,假设在metric_record表中,shh2每隔一分钟发送一条mem_free的Record,其中有12条metric,则本次统计共有5条Record,而metric_count则为60条,同样的,这五分钟内的最大,最小和总和,只需要比对提取Metric_record中这五条的Record的最大,最小,以及5条总和即能统计出这5分钟内相应的属性。

类似于这样几条语句得以统计:

(1)selecthostname,max(metric_max) from metric_record where metric_name='mem_free' andserver_time>=1471503845324 and server_time<1471504146520 group byhostname;------统计5分钟内,每台主机上该metric的最大值。

(2)selecthostname,min(metric_min) from metric_record where metric_name='mem_free' andserver_time>=1471503845324 and server_time<1471504146520 group byhostname; ------统计5分钟内,每台主机上该metric的最小值。

(3)selecthostname,sum(metric_sum) from metric_record where metric_name='mem_free' andserver_time>=1471503845324 and server_time<1471504146520 group byhostname; ------统计5分钟内,每台主机上该metric值总和。

(4)selecthostname,sum(metric_count) from metric_record where metric_name='mem_free' andserver_time>=1471503845324 and server_time<1471504146520 group byhostname; ------统计5分钟内,每台主机上统计的该metric数量和。

字段名称

类型

详细说明

METRIC_NAME

VARCHAR

统计的Metric名字

HOSTNAME

VARCHAR

聚集统计的该Metric的主机名字

SERVER_TIME

UNSIGNED_LONG

统计的服务器时间

APP_ID

VARCHAR

该Metric的服务,如果是mem_free这样的机器信息则为HOST(即由Monitor发送过来的metric,其都为HOST),如果是dfs.*类似的Metric则其为datanode,namenode,nodemananger等等

INSTANCE_ID

VARCHAR

此次统计实例id,一般为空

UNITS

CHAR

一般为空,有的为Long

METRIC_SUM

DOUBLE

本次时段内统计的所有metric的总和

METRIC_COUNT

UNSIGNED_INT

本次聚集统计的metric数量,如果是monitor则是统计12*5=60条记录,metric_count就为60(也有可能是48条左右,实际中具有不确定因素),若是hadoop sink则是统计的7*5=35条记录(也有可能是28条,record表里最后一分钟还没入进去,这边就进行统计了)

,统计这些记录的汇总值,最大最小值。

METRIC_MAX

DOUBLE

本次时段内统计的所有metric的最大值

METRIC_MIN

DOUBLE

本次时段内统计的所有metric的最小值

2.1.3  METRIC_RECORD_HOURLY

其表参照METRIC_RECORD_MINUTE表,其余没有不同,是在METRIC_RECORD_MINUTE的基础上进行小时级的统计,一小时统计一次,所以说如果是mem_free这样的Monitor指标,则minute表5分钟统计60,则其一小时统计12*60=720条左右的记录。

2.1.4  METRIC_RECORD_DAILY

其表参照METRIC_RECORD_HOURLY表,其余没有不同,是在METRIC_RECORD_HOURLY的基础上进行day级的统计,一天统计一次,所以说如果是mem_free这样的Monitor指标,则hourly表一小时统计720,则其一天统计24*720=17280条左右的记录。

2.2 集群级别的表

         集群级别的聚集表都是以Metric为单位进行聚集的,所以忽略了HOST的概念,以metric_name为单位进行整体统计,一个metric可能来自N台主机,对此metric进行聚集。

2.2.1 METRIC_AGGREGATE

         以Metric_Name为主要指标,由于是集群级别的统计,所以不再有HOSTNAME相关字段的说明,在此表中增加了HOSTS_COUNT的字段,即聚集的Metric来自主机的数量,而在其后hourly,daily又去除了HOSTS_COUNT的字段,变成了metric_count字段。     

         该表为30秒统计一次,是在表METRIC_AGGREGATE_MINUTE的基础之上进行分片统计的,由于timeline.metrics.cluster.aggregator.minute.timeslice.interval的值设为30秒,所以其实是METRIC_AGGREGATE_MINUTE表聚合统计的结果之上,再对其结果按时间进行分片,然后存入该表中。

字段名称

类型

详细说明

METRIC_NAME

VARCHAR

统计的Metric名字

SERVER_TIME

UNSIGNED_LONG

聚集统计的服务器时间

APP_ID

VARCHAR

该Metric的服务,如果是mem_free这样的机器信息则为HOST(即由Monitor发送过来的metric,其都为HOST),如果是dfs.*类似的Metric则其为datanode,namenode,nodemananger等等

INSTANCE_ID

VARCHAR

此次实例id,一般为空

UNITS

CHAR

一般为空,有的为Long

METRIC_SUM

DOUBLE

本次统计的metric的总和

HOSTS_COUNT

UNSIGNED_INT

聚集的Metric来自主机的数量

METRIC_MAX

DOUBLE

本次统计的所有metric的最大值

METRIC_MIN

DOUBLE

本次统计的所有metric的最小值

2.2.2 METRIC_AGGREGATE_MINUTE

         在现版本中该表不存在,但是在经过源码验证后发现此表对应的就是METRIC_AGGREGATE表,其配置项timeline.metrics.cluster.aggregator.minute.timeslice.interval对应着METRIC_AGGREGAT的间隔时间。

         METRIC_AGGREGATE_MINUTE默认每隔120秒启动聚合线程,而其中是直接基于Metric_Record进行聚合分组查询,而其结果又由另外一个线程,根据其timeslice.interval时间片,分片对其120秒中的结果进行分片聚合,聚合的结果存入表METRIC_AGGREGATE中。

 

2.2.3 METRIC_AGGREGATE_HOURLY

字段名称

类型

详细说明

METRIC_NAME

VARCHAR

统计的Metric名字

SERVER_TIME

UNSIGNED_LONG

聚集统计的服务器时间

APP_ID

VARCHAR

该Metric的服务,如果是mem_free这样的机器信息则为HOST(即由Monitor发送过来的metric,其都为HOST),如果是dfs.*类似的Metric则其为datanode,namenode,nodemananger等等

INSTANCE_ID

VARCHAR

此次统计实例id,一般为空

UNITS

CHAR

一般为空,有的为Long

METRIC_SUM

DOUBLE

本次时段内统计的所有metric的总和

METRIC _COUNT

UNSIGNED_INT

本次统计的metric数量

METRIC_MAX

DOUBLE

本次时段内统计的所有metric的最大值

METRIC_MIN

DOUBLE

本次时段内统计的所有metric的最小值

         正如host级别的聚集一样,此表也是在表METRIC_AGGREGATE的基础之上进行统计聚集的,将其相关的时间段拉长进行统计,即可得到相应的指标。

2.2.4 METRIC_AGGREGATE_DAILY

字段名称

类型

详细说明

METRIC_NAME

VARCHAR

统计的Metric名字

SERVER_TIME

UNSIGNED_LONG

聚集统计的服务器时间

APP_ID

VARCHAR

该Metric的服务,如果是mem_free这样的机器信息则为HOST(即由Monitor发送过来的metric,其都为HOST),如果是dfs.*类似的Metric则其为datanode,namenode,nodemananger等等

INSTANCE_ID

VARCHAR

此次统计实例id,一般为空

UNITS

CHAR

一般为空,有的为Long

METRIC_SUM

DOUBLE

本次时段内统计的所有metric的总和

METRIC _COUNT

UNSIGNED_INT

本次统计的metric数量

METRIC_MAX

DOUBLE

本次时段内统计的所有metric的最大值

METRIC_MIN

DOUBLE

本次时段内统计的所有metric的最小值

         正如host级别的聚集一样,此表也是在表METRIC_AGGREGATE_HOURLY的基础之上进行统计聚集的,将其相关的时间段拉长进行统计,即可得到相应的指标。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值