使用(telemetry)ceilometer+gnocchi对openstack云平台监控数据采集和处理的实践与优化

使用(telemetry)ceilometer+gnocchi对openstack云平台监控数据采集和处理的实践与优化。

在做openstack资源统计监控中通过 (telemetry)ceilometer+gnocchi 获取cpu、memory的使用率，获取VM虚拟机网卡数据流量统计，虚拟机多网卡分别获取流量统计以及针对虚拟机实例进行总的流量统计。一般来说，可以对openstack中的vm虚拟机和compute node 计算节点的各类进行统计、分析和预警，比如：cpu、memory内存、traffic网络流量、disk磁盘io等等相关资源指标进行分类获取。

这里http://docs.openstack.org/developer/ceilometer/architecture.html对ceilometer有些大致的介绍，简单说就是OpenStack中的监控（遥测）项目，完成对云计算环境下各个指标的监控，事件记录，报警预警等。
监控方面大致包括数据中心的温度，宿主机CPU温度，电压，电流，风扇运转情况，网络负载情况，CPU使用情况；虚拟机CPU使用率，内存使用情况，每张网卡的I/O情况，每块磁盘的I/O情况等。
当然按ceilometer的设计来说也支持OpenStack以外的环境使用，并且它提供了比较优秀的软件架构，只需完成小部分代码就可以方便的添加想要监控的指标，比如物理节点磁盘健康状态。
然而现在的问题是：随着时间的推移和云系统规模的扩大ceilometer获取的数据量