Prometheus作为时序库，java写入与读取

最新推荐文章于 2024-07-15 09:47:14 发布

xuruilll

最新推荐文章于 2024-07-15 09:47:14 发布

阅读量5.3k

点赞数 5

分类专栏：时序数据库文章标签： spring boot

本文链接：https://blog.csdn.net/xuruilll/article/details/121610845

版权

时序数据库专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Prometheus是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警的新模型。Prometheus已经被广泛应用于数据中心监控，尤其是和Kubernetes结合的容器监控。

Prometheus本身内置了高性能的时序数据库，作为数据存储。如下面架构图中的TSDB。

最近研究时序数据库，拟采用Prometheus、InfluxDB或国产的TDEngine。

一般对Prometheus的应用都是作为监控系统，使用Prometheus提供的一整套工具集，达到监控的目的。关于如何使用、配置，网上的资料也是一大堆。但是单纯的作为时序数据库的介绍很少，根据一点点的资料和官网的文档，稍微摸索了一下，做了一个很初级的示范例子。后面关于时序库的应用还有很多内容要研究。

时序库写入

根据架构图，Prometheus是使用pull模式，由服务端拉取数据。如果要客户端主动写入，需要通过pushgateway。客户端写入pushgateway，服务从gateway拉取数据。

要注意的是，push的时间间隔与pull的时间间隔最好保持一致。要是push的时间间隔短，没有pull的时候就会覆盖掉了，造成数据丢失。

pom：

<dependency>
    <groupId>io.prometheus</groupId>
    <artifactId>simpleclient</artifactId>
    <version>0.12.0</version>
</dependency>
<dependency>
    <groupId>io.prometheus</groupId>
    <artifactId>simpleclient_pushgateway</artifactId>
    <version>0.12.0</version>
</dependency>

写入代码：

public boolean writeMeteoData(String station, Meteo data) {
try{
    String url = "127.0.0.1:9091";
    String gaugeName = "meteo_monitor";
    CollectorRegistry registry = new CollectorRegistry();
    Gauge guage = Gauge.build(gaugeName, "This is my custom metric.").labelNames("station", "quota", "date").create();

    guage.labels(station, "temperature", data.getDate()).set(data.getTemperature());
    guage.labels(station, "humidity", data.getDate()).set(data.getHumidity());
    guage.labels(station, "pressure", data.getDate()).set(data.getPressure());
    guage.labels(station, "wind-speed", data.getDate()).set(data.getSpeed());
    guage.labels(station, "wind-direction", data.getDate()).set(data.getDirection());
    guage.labels(station, "rain", data.getDate()).set(data.getRain());
    guage.register(registry);

    PushGateway pg = new PushGateway(url);
    Map<String, String> groupingKey = new HashMap<String, String>();
    groupingKey.put("instance", "my_instance");
    pg.pushAdd(registry, station, groupingKey);
    //pg.push(registry, station, groupingKey);
}
catch (Exception e){
    e.printStackTrace();
    return false;
}

return true;
}


Random r = new Random();

@Scheduled(cron = "0/15 * * * * ?")
void doWrite() {
    PrometheusUtil util = PrometheusUtil.getInstance();

    util.setConnect(url, gauge);

    Meteo data = new Meteo();

    String str = new SimpleDateFormat("yyyy-mm-dd HH:mm:ss").format(new Date());
    data.setDate(str);

    long startTime = System.currentTimeMillis();    //获取开始时间

    for(int i=0; i<1000; i++) {
        data.setDirection(0+ r.nextDouble()*180);
        data.setHumidity(20+r.nextDouble()*10);
        data.setPressure(900+r.nextDouble()*50);
        data.setSpeed(3+r.nextDouble());
        data.setTemperature(20+ r.nextDouble()*15);
        data.setRain(1+r.nextDouble());

        util.writeMeteoData("sta"+i, data);
    }

    long endTime = System.currentTimeMillis();    //获取结束时间
    System.out.println("pushgateway：" + str + ", 执行时间：" + (endTime - startTime));
}

代码中模拟了一千个站点的气象数据写入，通过quota字段区分监测的指标，如：气温、大气压、湿度等。

想通过lable区分站点，发现不行，连续写入时覆盖掉了，只保留了最后一个站点的数据。后来是通过PushGateway.pushAdd的第二个参数job名称区分站点。

一次写入一千个站点的数据的时间平均是17秒左右，一个站点写入的时间差不多是17毫秒。