Opentsdb 2.4 Rollup功能使用遇到的坑

本文介绍了Opentsdb 2.4版本的Rollup功能,详细阐述了Rollup的作用和需求背景,以及在解决大数据量查询和聚合运算问题上的优势。并分享了Rollup的实现方法,包括批量处理、TSD上排队和流处理三种方案,以及具体的操作步骤和注意事项。测试结果显示,Rollup能够有效提高查询性能和降低运算压力。
摘要由CSDN通过智能技术生成

    Opentsdb 2.4版本新增了Rollup和pre-aggregator功能,在内外网搜索相关的文章除了官方文档及其翻译外资料甚少,而官方文档也非常粗略,使用中着实遇到了不少困难,现在记录一下。

功能介绍

    TSDB的设计是存储全部频率的原始数据,这样在很广的时间范围内进行聚合查询通常会花费大量的时间才能完成,甚至会因为内存溢出异常而杀死TSDB。如一个opentsdb表记录4个节点每500ms的温度,当需要查看一个月的温度曲线时,query就会非常慢。

    假设待存数据有如下metric和tag:

Series ID

Metric

Tag

Tag 2

ts1

Signal

node=A1

Name=temperature

ts2

Signal

node=B1

Name=temperature

ts3

Signal

node=B2

Name=temperature

ts4

Signal

node=A2

Name=temperature

 

每500ms发送一包数据,假设某小时内温度数据如下

Series ID

12:00:00

+0.5

+1.0

+1.5

+2.0

+2.5

+3.0

……

+3599.5

ts1

13

 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值