携程:
Dashboard – Customized OpenTSDB
1、新增basic time series(BTS)元数据(申请专利);2、查询服务的cache优化(申请专利);3、基于不同业务类型(namespace)分片;4、查询服务可水平扩展;5、定时对原数据进行降采样(map/reduce);6、放宽原来最多8个tags的限制(至32个);7、支持中文encoding;8、扩展复合数值类型,支持avg/dev降采样聚合。
酷狗:
在实时监控系统的瓶颈不是在实时计算上,而是在结果存储方面?在存储方面,花了大量的时间去调优测试,其中也参考了携程对OpenTSDB的一些建议(携程的OpenTSDB使用的很好,好像还申请了专利)。存储这块,我们主要对它做了以下改进和优化,跟我们的需求进行定制修改源代码。OpenTSDB的改进和优化
(1)去除聚合时的分组插值,直接聚合
(2)修改了startkey和endkey中时间戳,只查询需要的行,对查询结果时间戳添加时区的偏移。
(3)添加降采样表,供采样粒度较大的查询使用,减少了rowkey数,提升了查询性能。
(4)添加协处理器支持,减少io和序列化/反序列化开销。
第4点的改动比较大,把OpenTSDB的查询处理功能有客户端搬迁到服务端(协处理器),大大减少了减少io和序列化/反序列化开销,性能提升明显。还有点,我们通过降维,添加分区标识来提高性能,这点主要利用HBase的分区特性。