druid查询

最新推荐文章于 2024-01-06 14:41:25 发布
最新推荐文章于 2024-01-06 14:41:25 发布
阅读量1.7k 收藏 2
点赞数
分类专栏： druid
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xujieyang4j/article/details/80616788
版权

druid为各种场景提供了丰富的查询类型。 查询由各种JSON属性组合而成，不同类型的查询，JSON属性不同，下面主要介绍常用的查询类型。

1. Components


  2. Datasources

一个数据源等价于druid表。此外，一个查询也可以作为数据源，提供类似于子查询的功能。查询数据源目前只支持GroupBy查询

  • Table Data Source

    最常用的类型

    {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

  • Union Data Source

    联合数据源中的数据源必须拥有相同的schema。联合查询只能被发送给broker/router节点，不支持直接发送到历史节点

    {
   "type": "union",
   "dataSources": ["<string_value1>", "<string_value2>", "<string_value3>", ... ]
}

  • Filters

    • Selector filter

      等价于sql的where countryIsoCode = 'US'

          {
      "queryType": "scan",
      "dataSource": {
        "type": "table",
        "name": "wikipedia3"
      },
      "filter": {
        "type": "selector",
        "dimension": "countryIsoCode",
        "value": "US"
      },
      "resultFormat": "list",
      "columns": [
        "page",
        "countryName",
        "cityName"
      ],
      "intervals": [
        "2016-06-27/2016-06-28"
      ],
      "limit": 5
    }

    • Column Comparison filter

      等价于sql的where countryName = cityName

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "columnComparison",
    "dimensions": [
      "countryName",
      "cityName"
    ]
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

    • Regular expression filter

      正则表达式，支持标准的java正则表达式，下面的查询表示countryIsoCode以U开头

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "regex",
    "dimension": "countryIsoCode",
    "pattern": "^U"
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

    • Logical expression filters

      支持and or not，下面的等价于 where countryIsoCode = 'US' and cityName = 'New York'

      {
      "queryType": "scan",
      "dataSource": {
        "type": "table",
        "name": "wikipedia3"
      },
      "filter": {
        "type": "and",
        "fields": [
          {
            "type": "selector",
            "dimension": "countryIsoCode",
            "value": "US"
          },
          {
            "type": "selector",
            "dimension": "cityName",
            "value": "New York"
          }
        ]
      },
      "resultFormat": "list",
      "columns": [
        "page",
        "countryName",
        "cityName",
        "countryIsoCode"
      ],
      "intervals": [
        "2016-06-27/2016-06-28"
      ],
      "limit": 5
    }

    • JavaScript filter

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "javascript",
    "dimension" : "countryIsoCode",
    "function" : "function(value) { return (value == 'US' || value == 'CN') }"
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

    • Search filter

      用于部分字符串匹配，如下面的表示包含foo，并且对大小写不敏感

      {
  "filter": {
    "type": "search",
    "dimension": "product",
    "query": {
      "type": "insensitive_contains",
      "value": "foo"
    }
  }
}

    • In filter

      等价于where countryIsoCode in ('US', 'CN')

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "in",
    "dimension" : "countryIsoCode",
    "values": ["US", "CN"]
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

    • Like filter

      等价于where countryIsoCode like '%U'

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "like",
    "dimension" : "countryIsoCode",
    "pattern": "%U"
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

    • Bound filter

      等价于 "CN" < countryIsoCode < "US"

      {
  "queryType": "scan",
  "dataSource": {
    "type": "table",
    "name": "wikipedia3"
  },
  "filter": {
    "type": "bound",
    "dimension" : "countryIsoCode",
    "lower": "CN", 
    "lowerStrict": true,
    "upper": "US" , 
    "ordering": "numeric",
    "upperStrict": true,
    "ordering": "lexicographic"
  },
  "resultFormat": "list",
  "columns": [
    "page",
    "countryName",
    "cityName",
    "countryIsoCode"
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ],
  "limit": 5
}

  • Aggregations

    • Count aggregator

      select 
    page, 
    count(*) as num
from wikipedia3 
where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
group by page
order by num desc
limit 5
      {
  "queryType": "topN",
  "dataSource": "wikipedia3",
  "dimension": "page",
  "threshold": 5,
  "metric": "num",
  "granularity": "all",
  "aggregations": [
    {
      "type": "count",
      "name": "num"
    }
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    • Sum aggregators

      longSum、doubleSum、floatSum

      select 
    page, 
    sum(delta) as num
from wikipedia3 
where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
group by page
order by page asc
limit 5
      {
  "queryType": "topN",
  "dataSource": "wikipedia3",
  "dimension": "page",
  "threshold": 5,
  "metric": "num",
  "granularity": "all",
  "aggregations": [
    {
      "type": "longSum",
      "name": "num",
      "fieldName" : "delta"
    }
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    • Min / Max aggregators

      doubleMin、doubleMax、floatMin、floatMax、longMin、longMax

      select 
    page, 
    max(delta) as num
from wikipedia3 
where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
group by page
order by page asc
limit 5
      {
  "queryType": "topN",
  "dataSource": "wikipedia3",
  "dimension": "page",
  "threshold": 5,
  "metric": "num",
  "granularity": "all",
  "aggregations": [
    {
      "type": "longMax",
      "name": "num",
      "fieldName" : "delta"
    }
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    • First / Last aggregator

      不能在数据摄入的时候使用，只能用于查询

      Last：最大时间戳对应的数据，0 if no row exist；First最小时间戳对应的数据，0 if no row exist

    • JavaScript aggregator

  • Post Aggregations
    对Aggregations的结果进行二次加工并输出，最终的结果既包含Aggregations的结果也包含Post Aggregations的结果

  • 2. Timeseries

    统计一段时间内的汇总数据

    SELECT count(*) as num,
sum(added)
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
    {
  "queryType": "timeseries",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "aggregations": [
    { "type": "count", "name": "count" },
    { "type": "longSum", "name": "added", "fieldName": "added" }
  ],
  "intervals": [ "2016-06-27/2016-06-28" ]
}

    3. TopN

    返回前N条数据，并可以按照metric排序，可以支持维度，但只有一个

    SELECT
    page,
    sum(added) as num
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
group by page
order by num desc
limit 5
    {
  "queryType": "topN",
  "dataSource": "wikipedia3",
  "dimension": "page",
  "threshold": 5,
  "metric": "added",
  "granularity": "all",
  "aggregations": [
    {
      "type": "doubleSum",
      "name": "added",
      "fieldName": "added"
    }
  ],
  "intervals": [ "2016-06-27/2016-06-28" ]
}

    4. GroupBy

    能对指定的多个维度分组，也支持对指定的维度排序，也支持limit，但是性能比TopN和Timeseries要差很多

    SELECT
    page,
    countryName,
    sum(added) as num,
    sum(delta) as num2
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
group by page,countryName
order by num desc
limit 5
    {
  "queryType": "groupBy",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions": [
    "page",
    "countryName"
  ],
  "limitSpec": {
    "type": "default",
    "limit": 5,
    "columns": [
      {
        "dimension": "added",
        "direction": "descending",
        "dimensionOrder": {
          "type": "numeric"
        }
      }
    ]
  },
  "aggregations": [
    {
      "type": "longSum",
      "name": "added",
      "fieldName": "added"
    },
    {
      "type": "longSum",
      "name": "delta",
      "fieldName": "delta"
    }
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    类似于like操作，可以查询多个维度列，不支持聚合

    SELECT
page,
countryName
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
and page like '%C' or countryName like '%C'
limit 5
    {
  "queryType": "search",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions": [
    "page",
    "countryName"
  ],
  "query": {
    "type": "insensitive_contains",
    "value": "C"
  },
  "sort" : {
    "type": "lexicographic"
  },
  "limit": 5,
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    6. Select

    查数据，不支持聚合，但支持分页，排序

    SELECT
*
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
limit 0,5
    {
  "queryType": "select",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions":[],
  "metrics":[],
  "pagingSpec":{"pagingIdentifiers": {}, "threshold":5},
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

    7. Scan

    类似于Select，但不支持分页，但是如果没有分页需求，推荐使用这个，性能比Select好

    SELECT
page,countryName
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
limit 5
    {
   "queryType": "scan",
   "dataSource": "wikipedia3",
   "resultFormat": "list",
   "columns":["page","countryName"],
   "intervals": [
     "2016-06-27/2016-06-28"
   ],
   "batchSize":20480,
   "limit":5
 }
xujieyang4j
关注
专栏目录
数据查询系统Druid介绍
02-02
Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。
数据库连接池-简介&Druid使用
最新发布
BinCund的博客
08-08 1392
此处注意”test“为数据库名称，用时注意修改成自己相应的数据库名称；小技巧：注意路径这边可以先注释其他代码，直接打印，来查看当前文件路径。我这边遇到过的问题是如果你使用的SQL是8.0以上的话需要使用。​ 最后运行即可，成功连接，打印出JDBC的连接对象，结果如图。我们在文件中打开后，只选取后面的路径，即相对路径如下即可。此处我选择在与我druid同一个文件目录下创建配置文件。导入jar包 druid-1.1.12.jar。如果使用的SQL是8.0以下则使用。Druid(德鲁伊)获取数据库连接池对象。
Druid简介及常用查询操作
qq_38151401的博客
08-14 4616
目录 一、druid主要功能介绍 二、druid使用场景 1、适用于如下场景 2、不适用于如下场景 三、常见查询操作 1、timeseries时间序列 2、TopN 3、GroupBy分组查询 4、scan扫描查询 5、search搜索查询 6、timeBoundary时间边界查询 7、segmentMetadata细分元数据查询 8、dataSourceMetadata数据源元数据查询 四、查询组件介绍 1、filter过滤器 （1）选择器过滤器selector （2）列
DRUID- 通过postman或curl查询druid数据
sidongxue2的专栏
06-12 2788
通过postman或curl查询druid数据
druid-dashboard:可视化Druid查询的UI
05-03
1. **查询构建器**：这个功能允许用户构建复杂的Druid查询，无需直接编写JSON或SQL。用户可以选择不同的查询类型，如时间序列查询、TopN查询、搜索查询等，并设置相应的过滤条件和聚合函数。 2. **实时监控**：仪表...
plyql：基于Plywood的类似MySQL的Druid查询
01-30
当前仅支持对Druid的查询。 将来会提供更多支持。 CLI支持以下选项： 选项 描述 --help 打印此帮助消息 --version 显示版本号 -v ，-- --verbose 显示正在进行的查询 -h ，-- --host 连接的主机 -s ，-- --...
druidry：基于Java的Druid查询生成器库
02-05
Druid是一种非常流行的工具，用于对事件数据执行OLAP查询。 Druid现在在大多数组织中驱动实时仪表板。 我们@扎普爱德鲁伊！ 因此，我们希望为使Druid变得更加友好而不断扩展的社区做出贡献。 我们希望简化与Druid...
druid 源码分析 逐层详解
03-06
Druid源码分析还要关注数据处理流程的实现细节，包括索引构建、索引加载、查询执行等关键路径分析。这需要对Druid的数据结构、处理流程、命名方式和组合规则有深入理解。 从系统特性的角度来看，Druid的设计注重...
druid 1.2.8线程池validation-query未起作用？？discard long time none received connection
hgg923的专栏
06-28 1776
最近项目生产环境老是报错：discard long time none received connection（感觉可能是跨机房，连接池连接失效了，然后validation-query恰巧没生效）
springboot 多数据源配置动态切换
梦醒了该散了的博客
09-04 1406
在实际开发中，经常可能遇到在一个应用中可能需要访问多个数据库的情况，那么我们就要使用切换数据源来实现我们的功能，也就是多数据源的配置 环境是springboot 在application-druid.yml配置从库数据源 # 数据源配置 spring: datasource: type: com.alibaba.druid.pool.DruidDataSource ...
druid 参数设置
面朝大海，春暖花开
10-25 9125
11）Remove-abandoned-timeout，指的是强制回收的触发时间阈值。4）Validation-query，指的是连接池探测当前连接是否是健康的SQL语句。9）Time-between-eviction-runs-millis指的是触发空闲连接健康探测阈值，需要跟上面的Test-while结合起来。8）Test-while-idle，指的是控制当连接处于空闲状态时，是否需检测连接的健康状态。2）Min-idle：关掉多余连接，保留有效连接，节省数据库的资源，这个值根据应用实际情况调整。
Druid数据库配置详细介绍
suveng's blog
10-08 6994
#Driver jdbc.driverClassName=com.mysql.jdbc.Driver #数据库链接， jdbc.url=jdbc:mysql://192.168.0.37:3306/project_demo?useUnicode=true&amp;amp;amp;characterEncoding=UTF-8 #帐号 jdbc.username=root #密码 jdbc.password=xxx...
应用使用Druid连接池经常性断链问题分析
牧羊人的方向
07-05 1万+
前段时间有应用使用Druid连接池经常的提示断链报错，整个问题排查分析过程很有意思。这里将Druid连接池、数据库层以及负载均衡层的配置分析下，记录整个问题的分析过程，同时梳理下Druid连接池的配置和连接保活及回收机制。...
Druid 连接池食用教程
闲狗的博客
05-06 1889
1initialSize 连接池初始化时，会调用 com.alibaba.druid.pool.DruidDataSource#init 初始化连接池的数据库连接 while (poolingCount < initialSize) { try { // 初始化物理连接 PhysicalConnectionInfo pyConnectInfo = createPhysicalConnection(); DruidConnectionHolder holder .
Druid连接池配置详解及连接池调优
热门推荐
Java全生态技术分享
01-06 1万+
基本上来说，大部分项目都需要与数据库交互，而要与数据库交互的话，就不得不提数据库连接池。市面上的连接池也有很多，今天我们主要讲一讲阿里的数据库连接池druid。
MySQL validatequery_Druid配置参数详解-validationQuery
weixin_32775495的博客
01-19 3223
Druid配置参数详解-validationQueryDruid是一个由阿里开源的数据库连接池，Druid的配置非常丰富，但是设置不当会对生产环境造成严重影响，网上Druid的资料虽多，但大部分都是互相复制粘贴，有很多不准确甚至完全错误的描述，Druid已经开源很久，而且作者WenShao的工作重心也已经不在Druid上，有些功能估计他自己都不太了解了。本系列将从源代码的角度分析Druid目前的最...
使用druid数据源报错，testWhileIdle is true, validationQuery not set解决方法
wangshiqi666的博客
05-08 460
druid数据源报错
druid 数据库查询
05-25
Druid是一种分布式的列式存储数据库，专为快速查询和分析大规模数据集而设计。它的特点是支持实时的数据摄取、高效的聚合查询和灵活的数据检索。Druid的主要功能包括： 1. 实时数据摄取：支持高吞吐量的实时数据...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值