Ambari Metrics(相关API,底层数据库,widget等)

Ambari Metrics系统(AMS)是用来收集、聚合Hadoop集群中监控信息的。


功能

  1. 能够收集Hadoop及其他Ambari Stacks服务里的Metrics信息;
  2. 有一定的存储能力,能够将高精度的Metrics信息保存一段时间(例如能够保存5天内的Metrics信息,时间可配置);
  3. 能够将过期的Metrics信息自动清理掉;
  4. 在collection time,为外部系统(例如TSDB)提供清晰的集成点(Integration point);
  5. 在清理时,为外部系统(例如TSDB)提供清晰的集成点;
  6. 提供默认的过期Metrics信息保存方式,例如,将过期的Metrics信息存入到HDFS中;
  7. 为过期Metrics信息提供分析工具,例如将信息存储在HDFS中,则提供Hive schema,pig 脚本等用于分析Metrics信息。

Metrics特点


1. 可移植、平台无关;
2. 能够和Ganglia系统兼容;
3. 保持SNMP架构;
4. 无需要Root权限;
5. HA高可用。


架构

这里写图片描述


用法

  1. 能够通过Ambari Rest API获取Metrics;
  2. 能够通过Ambari Web浏览Metrics图表;
  3. 支持自定义配置Metrics图表;
  4. 支持在Stack 服务里定义Metrics图表。

下面从Ambari Metrics API、Ambari Collector API、Stack里定义Metrics图表、Sink实现举例、自定义配置Metrics及Ambari Metrics显示过程这几个方面对Metrics进行详细描述。


Ambari Metrics API

Ambari Metrics API是Ambari提供的Metrics 接口,用于获取集群级别(Cluster)、主机节点级别(Host)、服务组件级别(Component)、主机服务节点级别(Host Component)获取Metrics信息。从广义上将,Ambari Metrics信息查询支持时间段(time range)、时间点(point in time)查询。

Cluster级别

http://:8080/api/v1/clusters/cluster-name?fields=metrics/metrics_name[time_start,time_end,step]&_=time_now

其中:
1. cluster-name为查询的集群名字;
2. metrics_name为要查询的metrics名字,如3. load,cpu,memory
4. time_start,time_end:查询的时间段起点(精确到秒)、终点,Linux事件戳
5. step:默认的时间点间隔
6. time_now:当前时间,精确到毫秒

例如:
Get http://node1:8080/api/v1/clusters/TestCluster?fields=metrics/load[1430844925,1430848525,15]&_=1430848532904

Host级别

Get http://ambari-server:8080/api/v1/clusters/cluster-name/hosts/host-name?fields=metrics/cpu/cpu_user[1430844610,1430848210,15],metrics/cpu/cpu_wio[1430844610,1430848210,15],metrics/cpu/cpu_nice[1430844610,1430848210,15],metrics/cpu/cpu_aidle[1430844610,1430848210,15],metrics/cpu/cpu_system[1430844610,1430848210,15],metrics/cpu/cpu_idle[1430844610,1430848210,15]&_=1430848217591

Component级别

Get http://ambari-server:8080/api/v1/clusters/cluster-name/services/HDFS/components/DATANODE?fields=metrics/dfs/datanode/DfsUsed,metrics/dfs/datanode/Capacity&_=1430849798630

HOST COMPONENT

Get http://ambari-server:8080/api/v1/clusters/cluster-name/hosts/host-name/host_components/NAMENODE?fields=metrics/jvm/memHeapCommittedM[1430847303,1430850903,15],metrics/jvm/memHeapUsedM[1430847303,1430850903,15]&_=1430850903846


Ambari Collector API

Ambari Collector API分为两类:Metrics操作API 和Metrics 元数据API。

Metrics操作 API

提交Metrics数据:

POST http://ambari-m
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值