写在前面的一些话
距离我第一次写OpenTSDB的博客已经有两个月了,也受到了一些关注,但再次写OpenTSDB却很难再去说它有趣而精妙的插值等使用方法了。因为最近使用OpenTSDB的体验并不算好,在开始架构设计方面只考虑到它服务的易用性,而对它的负载和并发读写时性能的冲突考虑较少,因为出现了许多问题,这些问题甚至涉及到它的内核和依赖数据库HBase:
第一个问题是大概每两周挂掉一次,具体原因还在排查中。
第二个问题是使用httpAPI因为读写的数据量很大,导致产生了大约20s延迟。之前认为是webSocket产生积压,所以换用RPC的方式直接往HBase写数据,这个方式还在测试中,但仍然有许多问题。
代码在我的github中https://github.com/jyj019/java-Kafka2OpenTSDB-byHBase-
接下来我准备把User Guide 的内容翻译下,再看下OpenTSDB的内核部分。
补充:最大的问题是
官方不推荐使用,原因不明(没查到)最后测试性能没达到要求,最终放弃该方案。
以前写的文章目录如下
OpenTSDB的/ API / PUT(opentsdb的输入的api)简介https://blog.csdn.net/jyj1100/article/details/81323705
OpenTSDB使用/ API / PUT进行数据存储的java实现https://blog.csdn.net/jyj1100/article/details/81330623
(转)opentsdb查询的简介——基础知识和UI操作https://blog.csdn.net/jyj1100/article/details/81324017
OpenTSDB的/ API / query(opentsdb的查询的api)简介(一)https://blog.csdn.net/jyj1100/article/details/81326660
OpenTSDB的/ API / query(opentsdb的查询的api)简介(二)https://blog.csdn.net/jyj1100/article/details/81329290
OpenTSDB使用/ API / query进行数据查询的java实现https://blog.csdn.net/jyj1100/article/details/81347817
之后想添加一些关于聚合,插值和下采样的内容,不过就不知道能多久填坑了
上面划掉,短期内算水了,不过我下面翻译了一篇有关汇合和预聚集相关的内容可以去看看。
这次准备新添加的OpenTSDB目录合集
这两天加班调OpenTSDB还是很累的,下面把目前添加的写上了,没写上的可以看下目录
ps:摘要以后慢慢改,真的写的差
OpeTSDB的Configuration配置 https://blog.csdn.net/jyj1100/article/details/83450407
Open ASYNCHBase配置文件https://blog.csdn.net/jyj1100/article/details/83451214
OpenTSDB写数据(一)https://blog.csdn.net/jyj1100/article/details/83472794
OpenTSDB写数据(二)https://blog.csdn.net/jyj1100/article/details/83472964
OpenTSDB的UID和TSUIDhttps://blog.csdn.net/jyj1100/article/details/83473652
OpenTSDB的汇总和预聚合(Rollup And Pre-Aggregates)(一)https://blog.csdn.net/jyj1100/article/details/83501283
OpenTSDB的汇总和预聚合(Rollup And Pre-Aggregates)(二)https://blog.csdn.net/jyj1100/article/details/83513908
OpenTSDB的元数据https://blog.csdn.net/jyj1100/article/details/83473689
OpenTSDB的树(tree)https://blog.csdn.net/jyj1100/article/details/83514098
OpenTSDB的故障排除https://blog.csdn.net/jyj1100/article/details/83514212
2019.1.6补充
最近做监控用了last查询
OpenTSDB的/ API / query/last(opentsdb的末尾反向查询的api)简介https://blog.csdn.net/jyj1100/article/details/85947803
问题
写入OPENTSDB的Spark Streaming程序最近容易出现程序不挂,但对OpenTSDB数据写入突然挂掉的情况,怀疑是资源不够,具体问题还没去温习和解决。