Druid查询数据

最新推荐文章于 2024-05-20 09:58:22 发布
最新推荐文章于 2024-05-20 09:58:22 发布
阅读量1.6w 收藏 7
点赞数 3
文章标签： Druid 数据库 查询 时间序列 大数据查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16471893/article/details/79858553
版权
数据接入
druid采用kafka index service直接从kafka中读取数据，并进行索引然后摄入到druid中。
研发只需要将数据以json格式打入kakfa对应的topic即可。

--json格式demo
{
    "TIMESTAMP": 1512791296,
    "TAG1": "tag1-2404",
    "TAG2": "tag2-936",
    "TAG3": "tag3-119",
    "TAG4": "tag4-4534",
    ....
    "BYTES": 42841,
    "LATENCYMS": 8293,
    "ACKS": 3153,
    "ERROR_COUNT": 16149,
    "CLICK": 243,
    "POINT": 77,
    "PRICE": 765
}
注意事项：
    1、为了规避时区的干扰，timestamp应该设置为10位整数的unixtime。
    2、字段名大小写敏感。
    3、纬度列应该尽量避免值为NULL的情况，换言之，纬度列尽量保持非空。
定义datasource
数据进入kafka之后，需要定义一个datasource specfile告诉druid怎样接入数据，里面声明时间戳格式，纬度列、指标列、预聚合的粒度等等。

--datasource specfile demo
{
  "type": "kafka",
  "dataSchema": {
    "dataSource": "metrics-min",
    "parser": {
      "type": "string",
      "parseSpec": {
        "format": "json",
        "timestampSpec": {
          "column": "TIMESTAMP",
          "format": "posix"
        },
        "dimensionsSpec": {
          "dimensions": [
            "TAG1",
            "TAG2",
            ...
            "TAG30",
            "TAG31"
      ]
        }
      }
    },
    "metricsSpec": [
      {
    "name": "counter",
    "type": "count"
      },
      {
        "name": "BYTES",
        "fieldName": "BYTES",
        "type": "doubleSum"
      },
      {
        "name": "LATENCYMS",
        "fieldName": "LATENCYMS",
        "type": "doubleSum"
      }
    ],
    "granularitySpec": {
      "type": "uniform",
      "segmentGranularity": "HOUR",
      "queryGranularity": "MINUTE"
    }
  },
  "tuningConfig": {
    "type": "kafka",
    "maxRowsPerSegment": 500000000
  },
  "ioConfig": {
    "topic": "metrics",
    "consumerProperties": {
      "bootstrap.servers": "192.168.1.115:9092"
    },
    "taskCount": 2,
    "taskDuration": "PT72M",
    "replicas": 1
  }
}

注意事项：
    1、dataSource声明了datasource的名称
    2、dimensionsSpec声明了纬度列
    3、metricsSpec声明了指标列
    4、ioConfig声明了消费数据所在的kafka集群地址以及topic的名称
    5、taskCount声明了起多少个consumer进程来消费数据
    6、queryGranularity声明预聚合的粒度

启动数据摄入只需要以datasource sepcfile为参数向overlord发送一个POST请求即可。
curl -X POST -H 'Content-Type: application/json' -d @metrics-min-kafka-supervisor.json http://192.168.1.112:8090/druid/indexer/v1/supervisor
数据查询

select详情查询

select详情查询（首页）
demo：
{
   "queryType": "select",
   "dataSource": "metrics-min",
   "descending": "false",
   "dimensions":[],
   "metrics":[],
   "granularity": "all",
   "intervals": [
     "2017-12-09T15:10:00/2017-12-09T15:11:00"
   ],
   "pagingSpec":{"pagingIdentifiers": {}, "threshold":5}
 }
 等价与mysql：
    select 
     * 
    from 
        metrics-min 
    where 
        timestamp>='2017-12-09 15:10:00' and timestamp<'2017-12-09 15:11:00' 
    limit 0, 5;

    启动查询需要将准备好的json文件作为参数以POST方式发送给broker节点
    curl -X POST '192.168.1.112:8082/druid/v2/?pretty' -H 'Content-Type:application/json' -d @query.json

output：
[ {
  "timestamp" : "2017-12-09T07:10:00.000Z",
  "result" : {
    "pagingIdentifiers" : {
      "metrics-min_2017-12-09T15:10:00.000+08:00_2017-12-09T15:11:00.000+08:00_2017-12-09T14:58:26.460+08:00" : 4
    },
    "dimensions" : [ "TAG26", "TAG27", "TAG24", "TAG25", "TAG22", "TAG23", "TAG20", "TAG21", "TAG1", "TAG9", "TAG8", "TAG7", "TAG6", "TAG5", "TAG19", "TAG4", "TAG3", "TAG17", "TAG2", "TAG18", "TAG15", "TAG16", "TAG13", "TAG14", "TAG11", "TAG12", "TAG31", "TAG10", "TAG30", "TAG28", "TAG29" ],
    "metrics" : [ "BYTES", "ACKS", "PRICE", "LATENCYMS", "ERROR_COUNT", "counter", "CLICK", "POINT" ],
    "events" : [ {
      "segmentId" : "metrics-min_2017-12-09T15:10:00.000+08:00_2017-12-09T15:11:00.000+08:00_2017-12-09T14:58:26.460+08:00",
      "offset" : 0,
      "event" : {
        "timestamp" : "2017-12-09T15:10:00.000+08:00",
        "TAG1" : "tag1-0",
        "TAG2" : "tag2-1384",
        "TAG3" : "tag3-191",
    ...
    ...

--第二页查询
demo: 
 {
   "queryType": "select",
   "dataSource": "metrics-min",
   "descending": "false",
   "dimensions":[],
   "metrics":[],
   "granularity": "all",
   "intervals": [
     "2017-12-09T15:10:00/2017-12-09T15:11:00"
   ],
   "pagingSpec":{"pagingIdentifiers": {"metrics-min_2017-12-09T15:10:00.000+08:00_2017-12-09T15:11:00.000+08:00_2017-12-09T14:58:26.460+08:00" : 5}, "threshold":5}
 }
等价于mysql：
select 
    * 
from 
    metrics-min 
where 
    timestamp>='2017-12-09 15:10:00' and timestamp<'2017-12-09 15:11:00' 
limit 5, 5;

注意事项：
    1、dimensions、metrics选项可以指定相关纬度列和指标列，留空则返回所有列，应该尽量避免使用*，尽可能只返回需要的字段。
    2、pagingSpec是分页选项，每次查询结果都会返回本次查询的pagingIdentifiers，下次查询时的pagingIdentifiers为上一次查询pagingIdentifiers的值+1

单列聚合topN

topN查询是对单列纬度进行groupby聚合，但是效率要比groupby高。
demo：
{
  "queryType": "topN",
  "dataSource": "metrics-min",
  "dimension": "TAG12",
  "threshold": 2,
  "metric": "ack",
  "granularity": "minute",
  "filter": {
    "type": "and",
    "fields": [
      {
        "type": "selector",
        "dimension": "TAG18",
        "value": "tag18-9227"
      },
      {
        "type": "selector",
        "dimension": "TAG14",
        "value": "tag14-2028"
      }
    ]
  },
  "aggregations": [
    {
      "type": "longSum",
      "name": "ack",
      "fieldName": "ACKS"
    },
    {
      "type": "doubleSum",
      "name": "latencyms",
      "fieldName": "LATENCYMS"
    }
  ],
  "postAggregations": [
    {
      "type": "arithmetic",
      "name": "ack_div_latency",
      "fn": "/",
      "fields": [
        {
          "type": "fieldAccess",
          "name": "ack",
          "fieldName": "ack"
        },
        {
          "type": "fieldAccess",
          "name": "latencyms",
          "fieldName": "latencyms"
        }
      ]
    }
  ],
  "intervals": [
    "2017-11-27T15:00:00.000/2017-11-28T15:00:00.000"
  ]
}
等价于mysql：
select 
    TAG12,
    sum(ACKS) as ack,
    sum(LATENCYMS) as latencyms,
    sum(ACKS)/sum(LATENCYMS) as ack_div_latency 
from 
    metrics-min 
where 
    timestamp>='2017-11-27 15:00:00' and timestamp<'2017-11-28 15:00:00' and TAG14='tag14-2028' and TAG18='tag18-9227' 
group by 
    TAG12 
order by 
    ack 
desc limit 2;

output:
[ {
  "timestamp" : "2017-11-27T15:00:00.000+08:00",
  "result" : [ {
    "ack" : 90300896,
    "ack_div_latency" : 1.003882596928461,
    "TAG12" : "tag12-0",
    "latencyms" : 8.995165E7
  }, {
    "ack" : 331693,
    "ack_div_latency" : 1.1468773987427994,
    "TAG12" : "tag12-1680",
    "latencyms" : 289214.0
  } ]
}, {
  "timestamp" : "2017-11-27T16:00:00.000+08:00",
  "result" : [ {
    "ack" : 90986653,
    "ack_div_latency" : 1.0018361726305511,
    "TAG12" : "tag12-0",
    "latencyms" : 9.0819892E7
  }, {
    "ack" : 307253,
    "ack_div_latency" : 0.9880629652854823,
    "TAG12" : "tag12-2016",
    "latencyms" : 310965.0
  } ]
}
    ...
    ...
]

注意事项：
    1、granularity声明了数据聚合的时间粒度。目前在mysql下，报表是通过自己实现的timePeriod来对结果进行再聚合的。
    2、threshold声明了topN的N
    3、metric声明了按那个指标进行降序排列
    3、dimension声明了需要group by的纬度，topN只支持单纬度。

多列聚合group by

demo：
{
  "queryType": "groupBy",
  "dataSource": "metrics-min",
  "dimensions": ["TAG12", "TAG13", "TAG14"],
  "granularity": "hour",
  "filter": {
    "type": "and",
    "fields": [
      {
        "type": "selector",
        "dimension": "TAG18",
        "value": "tag18-9227"
      }
    ]
  },
  "aggregations": [
    {
      "type": "longSum",
      "name": "ack",
      "fieldName": "ACKS"
    },
    {
      "type": "doubleSum",
      "name": "latencyms",
      "fieldName": "LATENCYMS"
    }
  ],
  "postAggregations": [
    {
      "type": "arithmetic",
      "name": "ack_div_latency",
      "fn": "/",
      "fields": [
        {
          "type": "fieldAccess",
          "name": "ack",
          "fieldName": "ack"
        },
        {
          "type": "fieldAccess",
          "name": "latencyms",
          "fieldName": "latencyms"
        }
      ]
    }
  ],
  "intervals": [
    "2017-11-27T15:00:00.000/p1d"
  ],
  "limitSpec": {
      "columns": [
          {   
              "dimension": "ack",
              "direction": "descending",
              "dimensionOrder": "numeric"
          }
      ],
      "limit": 500,
      "type": "default"
  }
}
等价于mysql：
select 
    TAG12,
    TAG13,
    TAG14,
    sum(ACKS) as ack,
    sum(LATENCYMS) as latencyms,
    sum(ACKS)/sum(LATENCYMS) as ack_div_latency 
from 
    metrics-min 
where 
    timestamp>='2017-11-27 15:00:00' and timestamp<'2017-11-28 15:00:00' and TAG18='tag18-9227' 
group by 
    TAG12,TAG13,TAG14 
order by 
    ack 
desc limit 500;

output:
[ {
  "version" : "v1",
  "timestamp" : "2017-11-27T15:00:00.000+08:00",
  "event" : {
    "TAG13" : "tag13-0",
    "TAG14" : "tag14-0",
    "TAG12" : "tag12-0",
    "ack" : 90300896,
    "ack_div_latency" : 1.003882596928461,
    "latencyms" : 8.995165E7
  }
}, {
  "version" : "v1",
  "timestamp" : "2017-11-27T15:00:00.000+08:00",
  "event" : {
    "TAG13" : "tag13-1680",
    "TAG14" : "tag14-1680",
    "TAG12" : "tag12-1680",
    "ack" : 331693,
    "ack_div_latency" : 1.1468773987427994,
    "latencyms" : 289214.0
  }
}
    ...
    ...
]

注意事项：
    1、granularity声明了返回结果的聚合粒度，对应报表上的每个图点的粒度，目前在mysql下，报表是通过自己实现的timePeriod来对结果进行再聚合的。
    2、limitSpec声明了order by的字段、升降序以及limit返回的行数。
    3、dimension声明了需要group by的纬度列表，支持任意数量的纬度。

group by timestamp

--仅对时间戳做group by
demo：
{
  "queryType": "timeseries",
  "dataSource": "metrics-min",
  "granularity": "hour",
  "descending": true,
  "filter": {
    "type": "and",
    "fields": [
      {
        "type": "selector",
        "dimension": "TAG18",
        "value": "tag18-9227"
      }
    ]
  },
  "aggregations": [
    {
      "type": "longSum",
      "name": "ack",
      "fieldName": "ACKS"
    },
    {
      "type": "doubleSum",
      "name": "latencyms",
      "fieldName": "LATENCYMS"
    }
  ],
  "postAggregations": [
    {
      "type": "arithmetic",
      "name": "ack_div_latency",
      "fn": "/",
      "fields": [
        {
          "type": "fieldAccess",
          "name": "ack",
          "fieldName": "ack"
        },
        {
          "type": "fieldAccess",
          "name": "latencyms",
          "fieldName": "latencyms"
        }
      ]
    }
  ],
  "intervals": [
    "2017-12-09T15:00:00.000/p1d"
  ]
}
等价于mysql：
select 
    timestamp,
    sum(ACKS) as ack,
    sum(LATENCYMS) as latencyms,
    sum(ACKS)/sum(LATENCYMS) as ack_div_latency 
from 
    metrics-min 
where 
    timestamp>='2017-12-09 15:00:00' and timestamp<'2017-12-10 15:00:00' and TAG18='tag18-9227' 
group by 
    timestamp 
order by 
    timestamp 
desc;

outopt:
[ {
  "timestamp" : "2017-12-10T10:43:00.000+08:00",
  "result" : {
    "ack" : 90290998,
    "latencyms" : 9.0457349E7,
    "ack_div_latency" : 0.9981610007164813
  }
}, {
  "timestamp" : "2017-12-10T10:42:00.000+08:00",
  "result" : {
    "ack" : 89444860,
    "latencyms" : 9.0373426E7,
    "ack_div_latency" : 0.9897252318397225
  }
  ...
  ...
]

pv、uv计算(distinct)

--datasketch估算
demo：
{
    "queryType": "groupBy",
    "intervals": "2017-11-28T00:00:00.000+08:00/2017-11-30T00:00:00.000+08:00",
    "dimensions": [],
    "aggregations": [
        {
            "type": "thetaSketch",
            "fieldName": "TAG12",
            "name": "uniq_tag12",
            "size": 131072
        }
    ],
    "granularity": "all",
    "dataSource": "metrics-min",
    "filter": { "type": "selector", "dimension": "TAG18", "value": "tag18-0" }
}
等价于mysql：
select 
    count(distinct TAG12) 
from 
    metrics-min 
where 
    timestamp>='2017-11-28 00:00:00' and timestamp<'2017-11-30 00:00:00' and TAG18='tag18-0';

output:
[ {
  "version" : "v1",
  "timestamp" : "2017-11-28T00:00:00.000+08:00",
  "event" : {
    "uniq_tag12" : 1.0
  }
} ]

注意事项：
    1、aggregations选项中的size代表datasketch的精确度，值越大越精确。
    2、output中的uniq_tag12代表count distinct TAG12的值，这里是1。
    3、使用datasketch计算只能得到最终的distinct值，得不到具体的纬度值。
    4、datasketch的误差率可以低于1%。

--group by精确统计
{
    "queryType": "groupBy",
    "intervals": "2017-11-28T00:00:00.000+08:00/2017-11-30T00:00:00.000+08:00",
    "dimensions": ["TAG12"],
    "aggregations": [
        {
            "type": "longSum",
            "name": "sum_acks",
            "fieldName": "ACKS"
        }
    ],
    "granularity": "all",
    "dataSource": "metrics-min",
    "filter": { "type": "selector", "dimension": "TAG18", "value": "tag18-0" }
}
等价于mysql：
select 
    TAG12，
    sum(ACKS) as sum_acks
from 
    metrics-min 
where 
    timestamp>='2017-11-28 00:00:00' and timestamp<'2017-11-30 00:00:00' and TAG18='tag18-0' group by TAG12;

output:
[ {
  "version" : "v1",
  "timestamp" : "2017-11-28T00:00:00.000+08:00",
  "event" : {
    "TAG12" : "tag12-0",
    "sum_acks" : 4331118453
  }
} ]

注意事项：
    1、使用group by能够得到count distinct TAG12的精确值，即查询返回的总记录条数1。
    2、使用group by能够拿到具体的纬度值，即output里TAG12对应的值tag12-0。

Druid SQL

http://druid.io/docs/latest/querying/sql.html
武壮
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Druid - 项目配置以及数据源初始化
你不在^-^的博客
11-09 1065
Druid 学习 一. 项目配置 1.1 拉取项目代码 git clone git@github.com:alibaba/druid.git 1.2 本地编译执行 这里因为在 pom 依赖中Druid 配置了 jdk 路径env.JAVA_HOME,对于没有初始化本地环境变量的同学这里可能会报错,可以通过配置 jdk 路径来解决 : <properties> <env.JAVA_HOME>/***/JDk/Home</env.JAVA_HOME> </
数据查询系统Druid介绍
02-02
Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部...
DruidDataSource数据源配置详解
06-29
可以帮助你了解,以及配置实现DruidDataSource数据源的配置
JDBC从连接池获取连接（Druid连接池）
qq_39323945的博客
07-25 763
@paramurl数据库连接串。*@paramdriver数据库驱动。*从druid数据库连接池获取数据库连接。*@paramusername用户名。*@parampassword密码。*@paramps预处理对象。*@paramrs结果集。*@paramconn连接。*@return连接。*数据库链接工具类。...
实时分析数据库之Druid
最新发布
CherryXieのblog
05-20 1834
Druid是一个开源的实时分析数据存储和查询引擎，专门设计用于快速查询和分析大规模的实时和历史数据。它最初由MetaMarkets开发并于2015年开源。
Apache Druid —— 使用Druid SQL 查询数据源Datasources（二）
wangxiaojing123的专栏
05-09 1276
根据__time 过滤查询 #查询XXX这张表__time在2019-06-03T16:00:00.000Z至019-06-03T16:07:00.000Z的数据，__time为此datasource的时间序列，每个datasource多会有这样一个字段，是用户指定的一个业务时间映射的。也可以写成 from druid.XXXX SELECT * from XXXX WHERE __time >='2019-06-03T16:00:00.000Z' and __time <'2019-06-0
Druid 数据库连接池的连接Demo
qq_42553504的博客
05-25 309
import com.alibaba.druid.pool.DruidDataSourceFactory; import javax.sql.DataSource; import java.io.InputStream; import java.sql.Connection; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.util.Properties; /** * @author silence .
Druid数据源操作指南
10-28
Druid 数据源操作指南 Druid 是阿里巴巴的一款开源数据库连接池，基于 Apache 2.0 协议，可以免费自由使用。它不仅仅是一个数据库连接池，还包含一个 ProxyDriver，一系列内置的 JDBC 组件库，一个 SQL Parser。...
druid数据分析原理与实践
06-25
《Druid数据分析原理与实践》一书主要涵盖了Druid这一高效大数据分析组件的详细知识，由欧阳辰撰写，是理解数据仓库架构的重要参考资料。Druid以其实时性、高可用性和可扩展性在大数据处理领域备受青睐，尤其适用于...
druid数据源配置
03-15
本配置文件是讲怎样在springboot环境下配置druid数据源，期中包括了一些高级配置，这里是配置文件，另外还需要写配置类，具体请移步本人博客springboot整合druid数据源查看
SpringBoot+druid+多数据源示例
12-25
本示例将详细讲解如何在SpringBoot项目中集成Druid并实现多数据源的自动切换。 首先，我们需要理解多数据源的概念。多数据源意味着应用程序可以同时连接和操作多个不同的数据库，这对于数据分层、高可用性和分布式...
数据库连接池之Druid
buith9879的博客
04-19 349
在系统启动前初始化一个容器（集合），在容器中创建许多的数据库，每当有用户来访问，我们就拿出一个数据库来提供服务，服务完成后就将数据库归还到容器中。如果有一个数据库一直被占有且不被使用，有人在排队的话，会强制断开连接并且将数据库分配给有需要的人。这样的好处可以使数据库资源重用，提高系统的响应速度，并且避免数据库连接遗漏。
druid源码解读
habazhu1110的专栏
11-16 5162
之前想看看连接池的底层代码实现,然后根据大神的博客看了一下BasicDataSource  https://www.cnblogs.com/biakia/p/4352197.html,感触良多....总之很复杂.忽然想起来了牛逼的德鲁伊,就各种浪了...百度各种文档想看看前人的源码阅读....然后就崩溃了,好吧索性就自己亲自去看看究竟牛在哪里! 首先搭建环境 javax.servlet
druid json查询：相同sql对应的json请求体
qq_35671159的博客
08-14 2175
最近完成了一个新项目用druid的json查询的方式，项目做完了在这里总结一下： 一、 【简单SQL】： SELECT  SUM(initiate_count) AS chatCount,  SUM(online_initiate_count) AS onlineChatCount,  SUM(initiate_chat_count) AS startChatCount,  SUM(eff...
DruidDataSource阿里数据源及其使用
kuole的博客
05-14 5772
第一部分：数据源的集中比较。 目前常用的数据源主要有c3p0、dbcp、proxool、druid，先来说说他们 Spring 推荐使用dbcp； Hibernate 推荐使用c3p0和proxool 1、 DBCP：apache DBCP(DataBase connection pool)数据库连接池。是apache上的一个 java连接池项目，也是 tomcat使用的连接池组件。单独使用dbcp需要3个包：common-dbcp.jar,common-pool.jar,common-collectio
DruidDataSource参考配置
weixin_34184158的博客
12-02 187
为什么80%的码农都做不了架构师？>>> ...
SpringBoot整合Druid数据源
m0_47475986的博客
12-19 335
maven仓库：https://mvnrepository.com/artifact/com.alibaba/druid 1.导入Druid依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.2.5</version> </dependency> 2.配置appl
Druid源码学习（一）
05-10 641
从有个测试用例看连接的建立：Demo0 public class Demo0 extends TestCase { private String jdbcUrl; private String user; private String password; private String driverClass; private int initialSize = 10; private int minPoolSize = 1; priv
Druid连接池基本使用
X_m_c的博客
12-14 1264
Druid连接池使用 导入jar包 druid-1.1.9.jar 下载地址 （注意不要忘记导入数据库驱动jar包） 定义配置文件 （druid.properties）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值