CDH使用秘籍（二）：cloudera Manager中监控数据的存储

文章来源：http://blog.csdn.net/shifenglov/article/details/41281399

 

CDH使用秘籍（二）：cloudera Manager中监控数据的存储

分类： Hadoop 2014-11-19 14:18  1951人阅读  评论(0)  收藏  举报

CDH Cloudera Manager Managed ServiceHost MonitorService Monit

概述

上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式，怎样配置外部表等。这一篇文章进一步分析监控数据的存储，配置，调优等。

Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看相应的Cloudera Manager的存储连接，发现Service Monitor和Host Monitor的存储使用的是levelDB的解析类，由此可以推断出本地存储使用的是levelDB。LevelDB可以说是key-value的数据库的鼻祖，读写效率特别高，并发也很大，而Cloudera Manager的监控的读写数据特别多、频繁。这也可能是Cloudera Manager5选择使用levelDB替换关系数据库的原因。

 

监控数据在Cloudera Manager升级中的迁移

Cloudera Manager 5 存储Host Monitor 和 Service Monitor数据到本地数据库。如果使用自动化升级配置从Cloudera Manager 4 升级到 5，数据会从Cloudera manager 4 中的内嵌数据库或者外部数据库中自动迁移到Cloudera Manger5中的本地数据库中。这是一个自动化执行的过程中，中间可以查看迁移过程的日志等。

 

Service Monitor 数据存储的配置

Service Monitor存储了时间序列和健康数据，Impla查询的元数据，Yarn应用的元数据。默认情况下，数据时存储在/var/lib/cloudera-service-monitor/目录下，你也可以修改Service Monitor Storage Directory 配置firehose.storage.base.directory。

You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following configuration options:

Time-series metrics and health data - Time-Series Storage (firehose_time_series_storage_bytes - 10 GB default)

Impala query metadata - Impala Storage (firehose_impala_storage_bytes - 1 GB default)

YARN application metadata - YARN Storage (firehose_yarn_storage_bytes - 1 GB default)

 

Host Monitor 数据存储的配置

Host Monitor存储了时间序列和健康数据。默认情况下，数据存储在/var/lib/cloudera-host-monitor/目录下，你也可以修改Host Monitor Storage Directory 配置。

You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:

Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes - 10 GB default)

 

数据粒度和时间序列指标数据

Service Monitor 和 Host Monitor使用很多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度，比如每一个小时，会把数据的平均值，最小值，最大值汇总成一个小时为粒度的数据，每6个小时，会汇总成6个小时的数据。每天、每个星期等。这种方式只会汇总指标数据。Impla的查询和Yarn应用的监控数据当接近限制时，会删除旧的数据。

当存储快达到限制时，会先删除粒度最细的数据，保证存储空间的释放。比如会先删除小时为粒度的数据，其次是以天微粒度的数据。

Moving Monitoring Data on an Active Cluster

Host Monitor and Service Monitor Memory Configuration