Java 实现对 OpenTSDB插入数据，查询数据

最新推荐文章于 2021-03-24 06:01:24 发布
最新推荐文章于 2021-03-24 06:01:24 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： opentsdb

Java 实现对 OpenTSDB插入数据，查询数据

2018年02月27日 17:20:00 杨鑫newlfe 阅读数：901更多

所属专栏： Java学习笔记 数据库学习笔记

 版权声明：学习交流为主，未经博主同意禁止转载，禁止用于商用。 https://blog.csdn.net/u012965373/article/details/79390933

OpenTSDBUtil

 

 

package com.xxx.util;

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.opentsdb.client.ExpectResponse;
import org.opentsdb.client.HttpClient;
import org.opentsdb.client.HttpClientImpl;
import org.opentsdb.client.builder.MetricBuilder;
import org.opentsdb.client.request.Filter;
import org.opentsdb.client.request.Query;
import org.opentsdb.client.request.QueryBuilder;
import org.opentsdb.client.request.SubQueries;
import org.opentsdb.client.response.Response;
import org.opentsdb.client.response.SimpleHttpResponse;
import org.opentsdb.client.util.Aggregator;
import org.slf4j.LoggerFactory;
import org.slf4j.Logger;
import java.io.IOException;
import java.util.*;


/**
 * @author yangxin-ryan
 */
public class OpenTSDBUtil {

    private static Logger LOG = LoggerFactory.getLogger(OpenTSDBUtil.class);

    private static String openTSDBUrl = "http://xxxxxxx:4242";

    private HttpClient httpClient;

    /**
     *  构造函数
     */
    public OpenTSDBUtil() {
        this.httpClient = new HttpClientImpl(openTSDBUrl);
    }

    /**
     * 写入数据
     * @param metric  指标
     * @param timestamp  时间点
     * @param value
     * @param tagMap
     * @return
     * @throws Exception
     */
    public boolean putData (String metric, Date timestamp, Long value, Map<String, String> tagMap) throws Exception {
        long timeSecs = timestamp.getTime() / 1000;
        return this.putData(metric, timeSecs, value, tagMap);
    }

    /**
     * 写入数据
     * @param metric  指标
     * @param timestamp  时间点
     * @param value
     * @param tagMap
     * @return
     * @throws Exception
     */
    public boolean putData (String metric, Date timestamp, Double value, Map<String, String> tagMap) throws Exception {
        long timeSecs = timestamp.getTime() / 1000;
        return this.putData(metric, timeSecs, value, tagMap);
    }

    /**
     * 写入数据
     * @param metric  指标
     * @param timestamp  转换为秒的时间点
     * @param value
     * @param tagMap
     * @return
     * @throws Exception
     */
    public boolean putData (String metric, long timestamp, Long value, Map<String, String> tagMap) throws Exception {
        MetricBuilder builder = MetricBuilder.getInstance();
        builder.addMetric(metric).setDataPoint(timestamp, value).addTags(tagMap);
        try{
            LOG.debug("write quest: {}", builder.build());
            Response response = httpClient.pushMetrics(builder, ExpectResponse.SUMMARY);
            LOG.debug("response.statusCode: {}", response.getStatusCode());
            return response.isSuccess();
        } catch (Exception error){
            LOG.error("put data to opentsdb error: " , error);
            error.printStackTrace();
            throw error;
        }
    }

    /**
     * 写入数据
     * @param metric  指标
     * @param timestamp  转化为秒的时间点
     * @param value
     * @param tagMap
     * @return
     * @throws Exception
     */
    public boolean putData (String metric, long timestamp, Double value, Map<String, String> tagMap) throws Exception {
        MetricBuilder builder = MetricBuilder.getInstance();
        builder.addMetric(metric).setDataPoint(timestamp, value).addTags(tagMap);
        try {
            LOG.debug("write quest: {} ", builder.build());
            Response response = httpClient.pushMetrics(builder, ExpectResponse.SUMMARY);
            LOG.debug("response.statueCpde: {}", response.getStatusCode());
            return response.isSuccess();
        } catch (Exception error) {
            LOG.error("put data to opentsdb error: ", error);
            LOG.error(error.getMessage());
            error.printStackTrace();
            throw error;
        }
    }

    /**
     * 查询数据， 返回的数据为json格式，结构为：
     * "[
     "  {
     "    metric: mysql.innodb.row_lock_time,
     "    tags: {
     "      host: web01,
     "      dc: beijing
     "    },
     "    aggregateTags: [],
     "    dps: {
     "      1435716527: 1234,
     "      1435716529: 2345
     "    }
     "  },
     "  {
     "    metric: mysql.innodb.row_lock_time,
     "    tags: {
     "      host: web02,
     "      dc: beijing
     "    },
     "    aggregateTags: [],
     "    dps: {
     "      1435716627: 3456
     "    }
     "  }
     "]";
     * @param metric      要查询的指标
     * @param tagk        tagk
     * @param tagvFtype   tagv分过滤规则
     * @param tagvFilter  tagv的匹配规则
     * @param aggregator  查询的聚合类型，如： OpentsdbClient.AGGREGATOR_AVG, OpentsdbClient.AGGREGATOR_SUM
     * @param downsample  采样的时间粒度，如： 1s, 2m, 1h, 1d, 2d
     * @param startTime   查询开始时间，时间格式为 yyyy-MM-dd HH:mm:ss
     * @param endTime     查询结束时间，时间格式为 yyyy-MM-dd HH:mm:ss
     * @return
     * @throws IOException
     */
    public String getData (String metric, String tagk, String tagvFtype, String tagvFilter, String aggregator, String downsample, String startTime, String endTime) throws IOException {
        QueryBuilder queryBuilder = QueryBuilder.getInstance();
        Query query = queryBuilder.getQuery();
        query.setStart(DateTimeUtil.parse(startTime, "yyyy-MM-dd HH:mm:ss") / 1000);
        query.setEnd(DateTimeUtil.parse(endTime, "yyyy-MM-dd HH:mm:ss") / 1000);
        List<SubQueries> sqList = new ArrayList<>();
        SubQueries sq = new SubQueries();
        sq.setMetric(metric);
        sq.setAggregator(aggregator);
        List<Filter> filters = new ArrayList<>();
        Filter filter = new Filter();
        filter.setTagk(tagk);
        filter.setType(tagvFtype);
        filter.setFilter(tagvFilter);
        filter.setGroupBy(Boolean.TRUE);
        filters.add(filter);
        sq.setFilters(filters);
        sq.setDownsample(downsample + "-" + aggregator);
        sqList.add(sq);
        query.setQueries(sqList);
        try{
            LOG.debug("query rqeust: {}", queryBuilder.build()); // 查询校验
            SimpleHttpResponse spHttpResponse = httpClient.pushQueries(queryBuilder, ExpectResponse.DETAIL);
            LOG.debug("response.content: {}", spHttpResponse.getContent());

            if (spHttpResponse.isSuccess()) {
                return spHttpResponse.getContent();
            }
            return null;
        } catch (IOException ioe) {
            LOG.error("get data from opentsdb error: ", ioe);
            throw ioe;
        }
    }

    /**
     * 查询数据，返回的数据为json格式
     * @param metric         要查询的指标
     * @param filter         查询过滤的条件，原来使用的tags在v2.2后已不适用
     *                       filter.setType(): 设置过滤类型, 如: wildcard, regexp
     *                       filter.setTagk(): 设置tag
     *                       filter.setFilter(): 根据type设置tagv的过滤表达式, 如: hqdApp|hqdWechat
     *                       filter.setGroupBy():设置成true, 不设置或设置成false会导致读超时
     * @param aggregator     查询的聚合类型， 如： OpentsdbClient.AGGREGATOR_AVG, OpentsdbClient.AGGREGATOR_SUM
     * @param downsample     采样的时间粒度， 如： 1s, 2m, 1h, 1d, 2d
     * @param startTime      查询开始时间，时间格式为：yyyy-MM-dd HH:mm:ss
     * @param endTime        查询结束时间，时间格式为: yyyy-MM-dd HH:mm:ss
     * @return
     * @throws IOException
     */
    public String getData (String metric, Filter filter, String aggregator, String downsample, String startTime, String endTime) throws IOException{
        QueryBuilder queryBuilder = QueryBuilder.getInstance();
        Query query = queryBuilder.getQuery();
        query.setStart(DateTimeUtil.parse(startTime, "yyyy-MM-dd HH:mm:ss") / 1000);
        query.setEnd(DateTimeUtil.parse(endTime, "yyyy-MM-dd HH:mm:ss") / 1000);
        List<SubQueries> sqList = new ArrayList<>();
        SubQueries sq = new SubQueries();
        sq.addMetric(metric);
        sq.addAggregator(aggregator);

        List<Filter> filters = new ArrayList<>();
        filters.add(filter);
        sq.setFilters(filters);

        sq.setDownsample(downsample + "-" + aggregator);
        sqList.add(sq);
        query.setQueries(sqList);
        try{
            LOG.debug("query request: {}", queryBuilder.build());
            SimpleHttpResponse spHttpResponse =httpClient.pushQueries(queryBuilder, ExpectResponse.DETAIL);
            LOG.debug("response.content: {}", spHttpResponse.getContent());
            if (spHttpResponse.isSuccess()){
                return spHttpResponse.getContent();
            }
            return null;
        } catch (IOException e){
            LOG.error("get data from opentsdb error: ", e);
            throw e;
        }
    }

    /**
     * 查询时间，返回tags与时序值的映射：Map<tags, Map<时间点，value>>
     * @param metric       查询指标
     * @param tagk         tagk
     * @param tagvFtype    tagv的过滤规则
     * @param tagvFilter   tagv的匹配自字符
     * @param aggregator   查询的聚合类型，如： OpentsdbClient.AGGREGATOR_AVG, OpentsdbClient.AGGREGATOR_SUM
     * @param downsample   采样的时间粒度，如：1s, 2m, 1h, 1d, 2d
     * @param startTime    查询开始时间，时间格式为yyyy-MM-dd HH:mm:ss
     * @param endTime      查询结束时间，时间格式为yyyy-MM-dd HH:mm:ss
     * @param retTimeFmt   返回的结果集中，时间点的格式，如：yyyy-MM-dd HH:mm:ss 或 yyyyMMddHH 等
     * @return Map<tags, Map<时间点, value>>
     * @throws IOException
     */
    public Map<String, Map<String, Object>> getData(String metric, String tagk, String tagvFtype, String tagvFilter,
                                                    String aggregator, String downsample, String startTime,
                                                    String endTime, String retTimeFmt) throws IOException {
        String resContent = this.getData(metric, tagk, tagvFtype, tagvFilter, aggregator, downsample, startTime, endTime);
        return this.convertContentToMap(resContent, retTimeFmt);
    }

    /**
     * 查询数据，返回tags与时序值的映射： Map<tags, Map<时间点，value>>
     * @param metric            要查询的指标
     * @param filter            查询过滤的条件，原来使用的tags在v2.2后已不适用
     *                          filter.setType(): 设置过滤类型, 如: wildcard, regexp
     *                          filter.setTagk(): 设置tag
     *                          filter.setFilter(): 根据type设置tagv的过滤表达式, 如: hqdApp|hqdWechat
     *                          filter.setGroupBy():设置成true, 不设置或设置成false会导致读超时
     * @param aggregator        查询的聚合类型， 如： OpentsdbClient.AGGREGATOR_AVG, OpentsdbClient.AGGREGATOR_SUM
     * @param downsample        采样的时间粒度， 如：1s, 2m, 1h, 1d, 2d
     * @param startTime         查询开始时间，时间格式为：yyyy-MM-dd HH:mm:ss
     * @param endTime           查询结束时间，时间格式为：yyyy-MM-dd HH:mm:ss
     * @param retTimeFmt        返回的结果集中，时间点的格式，如：yyyy-MM-dd HH:mm:ss 或 yyyyMMddHH 等
     * @return         Map<String, Map<String, Object>>
     * @throws IOException
     */
    public Map<String, Map<String, Object>> getData(String metric, Filter filter, String aggregator, String downsample,
                                                    String startTime, String endTime, String retTimeFmt) throws IOException{
        String resContent = this.getData(metric, filter, aggregator, downsample, startTime, endTime);
        return this.convertContentToMap(resContent, retTimeFmt);
    }


    public Map<String, Map<String, Object>> convertContentToMap(String resContent, String retTimeFmt) {
        Map<String, Map<String, Object>> tagsValuesMap = new HashMap<>();

        if (resContent == null || "".equals(resContent.trim())) {
            return tagsValuesMap;
        }

        JSONArray array = (JSONArray) JSONObject.parse(resContent);
        if (array != null) {
            for (int i = 0; i < array.size(); i++){
                JSONObject obj = (JSONObject) array.get(i);
                JSONObject tags = (JSONObject) obj.get("tags");
                JSONObject dps = (JSONObject) obj.get("dps");

                Map<String, Object> timeValueMap = new HashMap<>();
                for (Iterator<String> it = dps.keySet().iterator(); it.hasNext();){
                    String timestamp = it.next();
                    Date datetime = new Date(Long.parseLong(timestamp) * 1000);
                    timeValueMap.put(DateTimeUtil.format(datetime, retTimeFmt), dps.get(timestamp));
                }
                tagsValuesMap.put(tags.toString(), timeValueMap);
            }
        }
        return tagsValuesMap;
    }

    public static void main(String[] args) {
        OpenTSDBUtil openTSDBUtil = new OpenTSDBUtil();
        try{
            // write
            Map<String, String> tagMap = new HashMap<>();
            tagMap.put("ch2", "ofo-App");
            openTSDBUtil.putData("metric-yangxin", 1519698960307L, 210l, tagMap);
            // read
            Filter filter = new Filter();
            filter.setType("regexp");
            filter.setTagk("ch2");
            filter.setFilter("ofo-App");
            filter.setGroupBy(Boolean.TRUE);
            String resContent = openTSDBUtil.getData("metric-yangxin", filter, Aggregator.avg.name(), "1h",
                    "2016-06-27 12:00:00", "2018-06-30 13:00:00");
            System.out.println(resContent);
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

 

DateTimeUtil:(此处我忽略不规范的时间戳)：

 

package com.xxx.util;

import java.sql.Timestamp;
import java.text.SimpleDateFormat;
import java.util.Date;


/**
 * @author yangxin-ryan
 */
public class DateTimeUtil {

    public static Long parse(String startTime, String timeFormat){
        System.out.println(startTime);
        return Timestamp.valueOf(startTime).getTime();
    }

    public static String format(Date datetime, String retTimeFmt) {
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat(retTimeFmt);
        String date = simpleDateFormat.format(datetime);
        return Timestamp.valueOf(date).toString();
    }
}

 

结果展示：

 

王树民
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
opentsdb-java-client-master.zip
09-08
openTSDN java client master分支代码下载openTSDN java client master分支代码下载openTSDN java client master分支代码下载
OpenTSDB 2.3文档 »用户指南-查询或读取数据.pdf
02-19
OpenTSDB提供了许多提取，操作和分析数据的方法。可以通过CLI工具，HTTP API查询数据，或者其通过GnuPlot图查看。开源工具如Grafana和Bseen也可以访问TSDB数据。使用OpenTSDB基于标签的系统进行查询可能有点棘手，因此请仔细阅读本文档并查看以下页面以获取更深入的信息。此页面上的示例查询遵循HTTP API格式。
opentsdb-java-sdk:用Java语言封装了openTSDB的http api
05-26
opentsdb-java-sdk 目前实现的功能 查询数据，支持同步和异步 写入数据，支持异步回调 删除数据 查询最新数据 查询metric、tag_key和tag_value，支持auto_complete `源码中CrudTest类提供了一些使用说明和测试，包括并发查询测试和并发写入测试` 快速开始 Maven依赖 <dependency> <groupId>com.github.eulery</groupId> <artifactId>opentsdb-java-sdk</artifactId> <version>1.1.6</version> </dependency> 创建连接 OpenTSDBConfig config = OpenTSDBConfig.address(host, port)
openTSDB-client:Java库，实现同步的http api，用于放置指标和从OpenTSDB服务器查询数据
05-09
一个简单的OpenTSDB客户端 OpenTSDB客户端是一个Java库，仅实现用于发送指标和查询OpenTSDB服务器的api。 注意此项目仅实现针对/ api / put？的同步http api。 和/ api / query，如果愿意，请随意为其他api推送实现pr。 发送指标 通过使用MetricBuilder完成指标的发送。 您只需添加一个指标，与该指标关联的标签以及数据点。 TSDBClient client = new TSDBClient("http://localhost:4242"); MetricBuilder builder = MetricBuilder.getInstance(); builder.addMetric("metric1").addDataPoint(1530247288, 30L) .addTag("tag1", "tab1v
opentsdb时序数据库写入数据
04-08
opentsdb 写入数据方法，由于不提供格式化或者存储错误导致的数据点无法写入，所以不建议使用Telnet，而是使用Http API
opentsdb java开发_安装openTSDB
weixin_42126677的博客
02-19 355
1. 安装JDK2. 安装HBASE安装单机版hbasehbase官方文档中的安装步骤，首先下载hbase的安装镜像，官方地址下载较慢，可以从国内地址下载：https://mirrors.ustc.edu.cn/apache/hbase/，注意下载的是bin.tar.gz，而不是src.tar.gz，前者是已经编译好可直接运行，后者是一系列源码文件，需要自己编译。1.下载后用以下命令解压tar -...
Java服务器性能监控（二） 时序数据库TSDB
Mr_SeaTurtle_的博客
10-24 1174
文章目录监控数据的特点监控数据的存储常见的TSDB小结参考阅读 看完了Java服务器监控中的基本变量Metrics之后，不难想到的问题就是，我们应该如何存储这些监控数据。这就是本篇文章主要讲述的内容。 这篇文章主要分为三个部分，第一部分主要描述监控数据的特点，第二部分主要讨论不同db的存储方式，第三部分则会简单地对tsdb进行介绍。 监控数据的特点 首先我们需要了解的是，监控数据必须包含的属性。一...
opentsdb java开发,OpenTSDB的读写API
weixin_39832965的博客
03-24 598
OpenTSDB提供三种方式的读写操作：telnet、http、post，但官方并没提供JAVA版的API。多亏有开源贡献者“shifeng258”，他用java编写了 opentsdb-client ，才使得我能对openTSDB的读写操作进行封装，从而分享至此：import org.opentsdb.client.ExpectResponse;import org.opentsdb.clien...
OpenTSDB之HTTP请求接口、Java开发
zx711166的博客
07-04 8149
HTTP API 由于OpenTSDB没有支持Java的SDK进行调用，所以基于Java开发OpenTSDB的调用将要依靠HTTP请求的方式进行。下面就先介绍下部分HTTP API的特性： 数据写入 /api/put 根据 url 参数的不同，可以选择是否获取详细的信息。 /api/put?summary // 返回失败和成功的个数 { "failed": 0, ...
OpenTSDB使用/ API / query进行数据查询的java实现
jyj019的博客
08-01 3774
写在前面，这里是补充下java代码的一些实现，感谢同事w给我提供的帮助。参考文献和其他文章列表放在末尾。 这篇文章讲的OpenTSDB如何数据的java实现，实现步骤写出来就比较简单，也有其他一些方法，不过post应该是最普遍的： 这里主要讲解了一些查询格式数据的拼装，讲了历史数据点查询，历史数据段时间查询，实时数据查询共3种方式。对查询数据的插值和聚合方式的设置采用了最简单的一种，这个准备之...
tcollector:OpenTSDB的数据收集框架
04-13
tcollector是一个收集数据点并将其存储在OpenTSDB中的框架。 它允许您编写将运行和监视的简单收集器。 它还处理与TSD的通信。 有关更多信息，请参见
（转）opentsdb查询的简介————基础知识和UI操作
jyj019的博客
08-01 3711
这篇文章基本上是转至https://blog.csdn.net/xsdxs/article/details/65938213，先严正声明下。 同时翻译至http://opentsdb.net/docs/build/html/user_guide/query/index.html 其实这种转载我也不想做，但是这篇确实是opentsdb查询的核心内容，但这篇文章也有一定的坑。也是我把它设置为基础知...
java opentsdb_java - 如何启动OpenTSDB？ - 堆栈内存溢出
weixin_32737183的博客
02-16 266
我正在按照OpenTSDB的入门说明进行操作，但是在运行程序时出现了以下显示的错误。 有人可以帮忙吗？运行命令时：./build/tsdb tsd --port=4242 --staticroot=build/staticroot --cachedir="$tsdtemp"我收到此错误：java.net.ConnectException: Connection refusedat sun.nio...
java封装openTsDb连接以及查询，插入数据
挖矿的小强的博客
10-26 6298
package enn.cn.dataimport; /** * Created by Administrator on 2017/10/26. */ import org.slf4j.Logger; import org.slf4j.LoggerFactory; import java.util.*; public class OpentsdbClientTest { pri
java操作opentsdb
A donkey has no tail
09-03 1639
https://blog.csdn.net/zx711166/article/details/80913861
OpenTsdb官方文档----查询或读取数据
tianyeshiye
07-05 2798
OpenTSDB提供了许多提取，处理和分析数据的方法。数据可以通过CLI工具，HTTP API来查询，并且作为为一个GnuPlot图形输出展示。开源工具如Grafana和Bosun可以访问TSDB的数据。使用OpenTSDB的基于标签的系统进行查询可能有点棘手，所以仔细阅读本文档并查看以下页面以获取更深入的信息。此页面上的示例查询遵循HTTP API格式。 查询组件 OpenTSDB提供了多个...
OpenTSDB写数据的三种方法之Java API详解
说文科技，做有态度的研究。
09-06 6183
openTSDB写数据的三种方法 1.Telnet Style API 见我博客：openTSDB详解之Telnet Style API 2.HTTP API 见我博客【待完善】 3.Java API 3.1 简介 接下来我主要分析一下使用Java API将数据写入到openTSDB中。因为openTSDB官方并没有提供Java API，所以这个API需要使用我们自己开发。但是整个...
OpenTSDB HTTP 写入示例
xsdxs的博客
03-15 8906
opentsdb http写入示例、基于Python request包实现。
opentsdb删除数据
最新发布
12-19
opentsdb是一个开源的时间序列数据库，用于存储和管理大量的时间序列数据。要删除opentsdb中的数据，可以通过以下步骤进行操作： 1. 使用opentsdb提供的HTTP API或telnet接口连接到opentsdb实例。 2. 使用删除数据的命令来删除指定的时间序列数据，可以根据时间范围、指标、标签等条件来进行删除操作。 3. 确认删除操作，确认删除命令是否执行成功，可以通过查询命令来验证删除操作是否生效。 4. 如有需要，可以进行数据恢复操作，opentsdb提供了数据备份和还原的功能，可以根据需求进行数据的还原操作。 需要注意的是，在删除数据之前需要慎重考虑，确认删除操作不会影响到其他业务和数据分析报告。另外，需要遵循opentsdb的数据管理规范，合理进行数据清理和维护工作，避免数据过期和冗余导致数据库性能下降。同时，建议在删除数据之前备份相关数据，以防止误操作导致数据无法找回。 总之，opentsdb提供了方便的数据删除功能，通过合理规划和操作，可以有效管理和维护时间序列数据，保证数据存储和分析的有效性和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值