Elasticsearch教程(8) Query DSL 查询教程

已于 2022-09-07 10:28:08 修改
阅读量3.4k 收藏 14
点赞数 9
分类专栏： Elasticsearch 文章标签： elasticsearch terms term exists DSL
于 2020-02-27 16:29:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/winterking3/article/details/104015071
版权

ES Query DSL之term level query

Query DSL简介

在公司用ES多是因为ES的开箱即用的分布式和查询速度快，用的较多的查询基本就是term level query，全文查询用的不多，本文总结下常用的term level query。ES提供了一个基于JOSN格式的查询语句-Query DSL，它包含2种类型：叶子查询和组合查询。

叶子查询

叶子查询语句是在一个特定字段(field)上查询特定的值(value)，例如match,term或range查询，它们可以单独使用。例如：

GET /pigg/_search
{
  "query": {
    "term": {
      "age": 32
    }
  }
}

组合查询

组合查询套在别的叶子查询或组合查询外面，它是用来组合逻辑上复杂多样的查询。例如：

GET /pigg/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "age": 32
          }
        },
        {
          "match": {
            "name": "王"
          }
        }
      ]
    }
  }
}

Query Context 和 Filter Context

一条查询语句的行为取决于是被用在Query Context还是Filter Context

Query Context

  • 在Query Context时，查询语句在问"这个文档匹配程度如何?"。除了判断文档是否匹配，还计算得出一个相关分数放在_score这个元字段上。
  • ES根据相关分数来对结果排序，相关分数表示每个文档的匹配程度，相关分数越高说明文档越匹配。

Filter Context

  • 在Filter Context时，查询语句在问"这个文档是否匹配?"。返回就是简单的是或否，无需计算相关分数，这通常用作过滤结构化数据。
  • 为了提高查询性能，通常Elasticsearch会自动缓存常用的过滤结果。缓存的细节可以看《深入理解ElasticSearch 》，这本书适合看过ES官网后再想了解ES原理时看。
GET /pigg/_doc/_search
{
    "query":{
        "bool":{
            "must":{
                "match":{ //这里的match就是query context，会计算相关分数
                    "first_name":"wang dong"
                }
            },
            "filter":{ //这里的filter就是filtercontext，不计算相关分数
                "range":{
                    "age":{
                        "gt":20,
                        "lt":30
                    }
                }
            }
        }
    }
}

词项查询（Term Level Query）

Term Level Query是在字段上查询精确的值，而不是进行全文匹配（比如match）。通常用到的词项查询有term，terms，ids，range，prefix，exists等等，下面一一介绍。

准备数据

插入5条人员数据，其中interest是兴趣，interest_count是指兴趣的个数。

PUT /pigg/_doc/1
{
  "name": "王冬冬",
  "ename": "winter",
  "age": 32,
  "about": "I am a good coder",
  "interest": ["eat", "coding"],
  "interest_count": 2
}

PUT /pigg/_doc/2
{
  "name": "朱大旬",
  "ename": "vissy",
  "age": 29,
  "about": "I am a tester",
  "interest": ["eat", "testing"],
  "interest_count": 2,
  "job": null
}

PUT /pigg/_doc/3
{
  "name": "王佳冬",
  "ename": "micoo",
  "age": 3,
  "about": "I am a baby",
  "interest": ["eat", "play", "sleep"],
  "interest_count": 3,
  "job": []
}

PUT /pigg/_doc/4
{
  "name": "蓝波",
  "ename": "lanbo",
  "age": 2,
  "about": "I am a cat",
  "interest": ["eat", "sleep"],
  "interest_count": 2,
  "job": ""
}

PUT /pigg/_doc/5
{
  "name": "波波",
  "ename": "bobo",
  "age": 1,
  "about": "I am a cat",
  "interest": ["eat"],
  "interest_count": 1,
  "job": [null]
}

查看mapping

GET /pigg/_mapping

因为没有提前定义mapping，所以是es自生成的mapping。其中name属性如下，name本身是text类型，内部包含一个keyword类型，用精确查询时，就用name.keyword属性。

          "name" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          }

1 term

term query判断文档的某个字段(field)是否包含某一个确定的值。一般都是用在结构化数据上，比如keyword，int，long，ip，date等，避免用在text类型的字段上，在text上应该用match匹配查询。

1.1 查询age=32

GET /pigg/_search
{
  "query": {
    "term": {
      "age": 32
    }
  }
}

1.2 查询name.keyword=“王冬冬”

GET /pigg/_search
{
  "query": {
    "term": {
      "name.keyword": "王冬冬"
    }
  }
}

返回结果如下：

注意返回结果里的相关分数_score
  "hits" : {
    "total" : 1,
    "max_score" : 0.2876821,
    "hits" : [
      {
        "_index" : "pigg",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.2876821,//注意这个相关分数_score
        "_source" : {
          "name" : "王冬冬",
          "ename" : "winter",
          "age" : 32,
          "about" : "I am a good coder",
          "interest" : [
            "eat",
            "coding"
          ],
          "interest_count" : 2
        }
      }
    ]
  }

1.3 过滤name.keyword=“王冬冬”

一般做精确查询的时候，没有必要计算相关分数，在上面讲Filter Context的时候，说过用filter不会计算相关分数，也提高了性能，下面就把上面语句改成filter过滤查询试试。

GET /pigg/_search
{
  "query": {
    "bool": {
      "filter": {
        "term": {
          "name.keyword": "王冬冬"
        }
      }
    }
  }
}

结果如下：

  "hits" : {
    "total" : 1,
    "max_score" : 0.0,
    "hits" : [
      {
        "_index" : "pigg",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.0,//没有计算相关分数，默认0.0
        "_source" : {
          "name" : "王冬冬",
          "ename" : "winter",
          "age" : 32,
          "about" : "I am a good coder",
          "interest" : [
            "eat",
            "coding"
          ],
          "interest_count" : 2
        }
      }
    ]
  }

1.4 为何要避免在text类型上用Term Level Query

name是text类型，默认下es会分词
1.“王冬冬”被分词为“王”，“冬”这2个词项
2.“王佳冬”被分词为“王”，“佳”，“冬”这3个词项
倒排索引如下：

词项文档ID
王1，3
冬1，3
佳3

如果term查询name=“王冬冬”，因为没有"王冬冬"这个词项，所以下面语句是查不到数据的。

GET /pigg/_search
{
  "query": {
    "term": {
      "name": "王冬冬"
    }
  }
}

1.5 一定要理解term是包含的意思，不是等于

在工作中经常用term查询id=1，status=1等类似的查询，久而久之有term就是等于的错觉，其实不然。
ES里数据如下：

idnameinterestinterest_count
1王冬冬[“eat”, “coding”]2
2朱大旬[“eat”, “testing”]2
3王佳冬[“eat”, “play”, “sleep”]3
4蓝波[“eat”, “sleep”]2
5波波[“eat”]1
查询兴趣为吃(interest=“eat”）的数据
GET /pigg/_search
{
  "query": {
    "term": {
      "interest.keyword": "eat"
    }
  }
}

我们本来以为查询结果就1条id=5的数据，只有波波的兴趣只为“eat”。
然而查询结果返回了5条所有数据，因为每条记录都包含了“eat”。
结果如下：
在这里插入图片描述

1.6 结合interest_count查询interest

interest_count记录这interest数组里元素个数。
结合interest_count查询查询兴趣只有吃(interest=“eat”）的数据。

GET /pigg/_search
{
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "interest.keyword":"eat"
                    }
                },
                {
                    "term":{
                        "interest_count":"1"
                    }
                }
            ]
        }
    }
}
注意点：这个只有interest_count=1时才有效
  • 在下面terms查询时，查询(interest=[“eat”, “sleep”] and interest_count=2)时，用上面的组合查询方式是不会达到预期效果。因为term和terms是包含的意思，[“eat”, “coding”]和[“eat”, “testing”]也符合条件，毕竟它们都包含“eat”且interest_count=2。
  • 要想达到预期效果，除了用must+term组成组合查询，还可以用terms_set查询，ES6才有的。

2 terms

  • terms和term类似，它判断文档的某个字段(field)是否包含某一个或多个确定的值（value）。
  • value参数是一个数组，里面包含多个你想要查询的值，只要有一个值命中就算符合。
  • value数组里的最多能放65536个值，如果想修改这个限制，可以修改setting里index.max_terms_count这个配置。
term和terms是包含的意思，上面准备数据中interest字段是数组，下面用查询interest这个字段来说明。

2.1 查询interest有play或sleep的人

GET /pigg/_search
{
  "query": {
    "terms": {
      "interest": ["play", "sleep"]
    }
  }
}

查询结果返回id为3和4的数据，因为他们兴趣包含play或sleep。

idnameinterestinterest_count
3王佳冬[“eat”, “play”, “sleep”]3
4蓝波[“eat”, “sleep”]2

2.2 用must组合查询interest=[“eat”, “sleep”]

上面也说了用(interest=[“eat”, “sleep”] and interest_count=2)查询是不对的，ES6之前可以用must+term组合查询。相当于interest.contains(“eat”) and interest.contains(“sleep”) and interest_count=2

GET /pigg/_search
{
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "interest.keyword":"eat"
                    }
                },
                {
                    "term":{
                        "interest.keyword":"sleep"
                    }
                },
                {
                    "term":{
                        "interest_count":2
                    }
                }
            ]
        }
    }
}

3 terms_set

terms_set查询和terms类似，但它定义了一个最小命中数。比如value数组里有3个值，最小命中数定义为2，说明字段里的值至少命中数组里的2个，才算这个文档符合。而terms查询只要命中数组里任意1个，就算文档符合查询条件。

3.1 至少命中[“eat”, “play”, “sleep”]中2个

GET /pigg/_search
{
  "query": {
     "terms_set": {
       "interest.keyword":{
         "terms": ["eat", "play", "sleep"],
         "minimum_should_match_script": {
             "source": "2"
         }
       }
     }
  }
}

3.2 用terms_set解决interest=[“eat”, “sleep”]

GET /pigg/_search
{
    "query":{
        "bool":{
            "must":[
                {
                    "terms_set":{
                        "interest.keyword":{
                            "terms":[
                                "eat",
                                "sleep"
                            ],
                            "minimum_should_match_script":{
                                "source":"2"
                            }
                        }
                    }
                },
                {
                  "term": {
                    "interest_count": {
                      "value": 2
                    }
                  }
                }
            ]
        }
    }
}

  "hits" : {
    "total" : 1,
    "max_score" : 1.8754687,
    "hits" : [
      {
        "_index" : "pigg",
        "_type" : "_doc",
        "_id" : "4",
        "_score" : 1.8754687,//注意这个评分
        "_source" : {
          "name" : "蓝波",
          "ename" : "lanbo",
          "age" : 2,
          "about" : "I am a cat",
          "interest" : [
            "eat",
            "sleep"
          ],
          "interest_count" : 2,
          "job" : ""
        }
      }
    ]
  }

3.3 用terms_set解决interest=[“eat”, “sleep”]且不评分

文章最上面讲过用filter context，这样不评分也提高查询性能，以后如果是无需评分的，最好放到filter里面。

GET /pigg/_search
{
    "query":{
        "bool":{
            "filter":{
                "bool":{
                    "must":[
                        {
                            "terms_set":{
                                "interest.keyword":{
                                    "terms":[
                                        "eat",
                                        "sleep"
                                    ],
                                    "minimum_should_match_script":{
                                        "source":"2"
                                    }
                                }
                            }
                        },
                        {
                            "term":{
                                "interest_count":{
                                    "value":2
                                }
                            }
                        }
                    ]
                }
            }
        }
    }
}

4 ids

根据文档ID查询文档，下面返回1和4两个文档，因为id=100的不存在。

GET /pigg/_search
{
  "query": {
    "ids": {
      "values" : ["1", "4", "100"]
    }
  }
}

5 exists

在MySQL中，常用 is null和 is not null，ES用exists。

下面情况认定字段不存在
  • 源JSON中的字段是null或[]
  • 字段在mapping中设置为"index" : false
  • 字段值的长度超出了mapping中设置的ignore_above
  • 字段值格式错误，并且mapping中设置的了ignore_malformed
下面特殊情况认定字段存在
  • 空字符串，例如"“或”-"
  • 包含null和另一个值的数组，例如[null, “foo”]
  • 在mapping中设置的自定义null-value（如果不熟，避免使用，用不好坑部门同事）

测试数据如下：

idnamejob
1王冬冬缺少job字段
2朱大旬null
3王佳冬[]
4蓝波”“
5波波[null]

5.1 查询job值存在的文档

GET /pigg/_search
{
  "query": {
    "exists": {
        "field": "job"
    }
  }
}

返回结果只有id=4的数据。

5.2 查询job值不存在的文档

利用must_not+exists组合查询，代替之前老版本ES的missing查询

GET /pigg/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
              "field": "job"
          }
        }
      ]
    }
  }
}

6 range

range查询判断某个字段是否在某个范围内。range有如下参数：

参数说明
gte>=
gt>
lte<=
lt<
boost查询权重，默认1.0

6.1 查询age在[3,30)之间的数据

GET /pigg/_search
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "age": {
            "gte": 3,
            "lt": 30
          }
        }
      }
    }
  }
}

7 prefix

prefix查询返回在指定字段中包含特定前缀的文档。这个就像我们SQL语句的 like “xx%”。
您可以使用mapping设置中的index_prefixes参数来加快前缀查询的速度。如果启用该参数，Elasticsearch只会为单独的字段索引2到5个字符的前缀。这使Elasticsearch在较大的索引上更有效率执行前缀查询，从而减少成本。
查询ename以“wi”开头的数据。

GET /pigg/_search
{
  "query": {
    "prefix": {
      "ename.keyword": "wi"
    }
  }
}
瑟 王
关注
专栏目录
elasql:通用SQL到Elasticsearch DSL查询转换器
04-28
{ela} sql 通用SQL到Elasticsearch DSL查询转换器。 专为设计 地位 实验性-加入我们，骇客入侵！ 安装 npm install elasql 用法 const convert = require('elasql').convert convert('SELECT id,name FROM shop WHERE shop_id BETWEEN 5 AND 10 AND type = "cat"') 输出 { "query": { "bool": { "must": [ { "match": { "type": "cat" } } ], "must_not": [], "filter": [ {
2.ELK之Elasticsearch常用DSL语句(kibana语句)
mijichui2153的博客
06-23 2万+
Filter DSL term 过滤 term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)： { “term”: { “age”: 26 }} { “term”: { “date”: “2014-09-01” }} { “term”: { “public”: true }} { “term”: { “tag”: “full_text” }} 完整的例子， hostname 字段完全匹配成 xxx 的数据： { "query"
ElasticSearch 高级查询语法Query DSL
weixin_51049616的博客
08-10 913
查询的数据页数特别大，当from + size大于10000的时候，就会出现问题，如下图报错信息所示：ES通过参数index.max_result_window用来限制单次查询满足查询条件的结果窗口的大小，其默认值为10000。分页方式性能优点缺点适用场景低灵活性好，实现简单，支持随机翻页受制于max_result_window设置，不能无限制翻页；存在深度翻译问题，越往后翻译越慢。数据量比较小，能容忍深度分页问题scroll中解决了深度分页问题。
Elasticsearch 8.X 使用入门以及集成python springboot
this_xiaohuar的专栏
07-17 1036
elasticsearch入门级使用教程，包含安装, 分词器 与python java的集成
ElasticSearch 高级查询语法Query DSL实战
最新发布
qq_27740127的博客
08-16 977
查询第一页5条数据"query": {},"from": 0,"size": 5输出结果如下图：但是如果我们查询的数据页数特别大，当from + size大于10000的时候，就会出现问题，如下图报错信息所示：ES通过参数index.max_result_window用来限制单次查询满足查询条件的结果窗口的大小，其默认值为10000。分页方式性能优点缺点适用场景低灵活性好，实现简单，支持随机翻页上受制于max_result_window设置，不能无限制翻页；
2.ElasticSearch 高级查询语法Query DSL实战
Zhuxiaoyu_91的博客
03-11 1491
ES中提供了一种强大的检索数据方式,这种检索方式称之为Query DSL（Domain Specified Language 领域专用语言） , Query DSL是利用Rest API传递JSON格式的请求体(RequestBody)数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。
Elasticsearch高级查询Query DSL
Charge8的博客
06-19 3090
Elasticsearch高级查询Query DSL
Elasticsearch——Query DSL语法入门
瓜皮弟子头很铁的博客
11-09 748
Domain Specific Language：领域特定语言Elasticsearch基于JSON提供完整的查询DSL来定义查询。Leaf query clauses 叶子查询字句：Leaf query clauses 在指定的字段上查询指定的值，如：match、term or range queries. 叶子字句可以单独使用。Compound query clauses 复合查询字句：以逻辑方式组合多个叶子、复合查询为一个查询。Query context 查询上下文。
Elasticsearch之Query DSL语法入门
yfy的博客
06-10 3485
14.5． query DSL入门 14.5.1 DSL query string 后边的参数原来越多，搜索条件越来越复杂，不能满足需求。 GET /book/_search?q=name:java&size=10&from=0&sort=price:desc DSL:Domain Specified Language，特定领域的语言 es特有的搜索语言，可在请求体中携带搜索条件，功能强大。 查询全部 GET /book/_search GET /book/_s.
esquerydsl:通过 golang 中的 Query DSL 安全地创建复杂的 ES 搜索查询
05-31
帮助解决使用规范编写弹性搜索查询的结构和编组器安装go get github.com/mottaquikarim/esquerydsl用法（您可以将下面的代码片段复制粘贴到并亲自查看） package mainimport ("encoding/json"... QueryItem {esquery
elastic-builder:Elasticsearch查询DSL的Node.js实现
05-02
Elasticsearch兼容性elastic-builder是为5.x查询DSL elastic-builder 。 但是，该库也应可与2.x一起使用。 对于较旧版本的DSL，您可以尝试或 大部分情况下， elastic-builder也与elasticsearch 6.0（alpha）兼容。 ...
es:使用DSL进行Elasticsearch查询
04-13
包es提供了Elasticsearch查询DSL。 关于 不建议使用Go“点导入”，但是，如果您想在这种情况下利用点导入的表现力，我建议将此逻辑抽象为更高级别的查询功能和程序包。 我不建议直接将其点导入其他包中。 例子 丽皮...
海市rage楼：简化Elasticsearch Query DSL的GUI
01-30
Elasticsearch查询DSL支持100多种查询API，范围从全文搜索，数字范围过滤器，地理位置查询到嵌套查询和跨度查询。 Mirage是用于Elasticsearch的现代，开放源代码，基于Web的查询浏览器。 它提供了一个用于编写...
elasticsearch-dsl.cr：Elasticsearch的Crystal DSL
02-04
`elasticsearch-dsl.cr`库的出现，使得 Crystal 开发者能够更自然地表达Elasticsearch的查询和索引操作，提高代码的可读性和可维护性。 **DSL的核心概念** 1. **查询构建器**：DSL允许开发人员通过构建器模式来...
Elasticsearch入门视频教程下载
08-10
- **Query DSL**：一种基于JSON的查询描述语言，用于构建复杂的查询条件。 - **常见查询类型**： - **Match Query**：基于关键词匹配的查询。 - **Term Query**：精确值查询。 - **Range Query**：范围查询。 - ...
【ES专题】ElasticSearch 高级查询语法Query DSL实战
qq_32681589的博客
10-31 3252
语法结构比较陌生没有中文文档， 只能看英文其他博客也比较少介绍语法结构。比如说，为什么查询中会出现query关键词就跟Mysql有自己的查询语言一样，ES作为一款优秀的分布式文档存储和【搜索引擎】，它也有自己的查询语言。即：Query DSL（查询Domain Specific Language），查询领域专用语言。Query DSL是利用RESTfull风格API传递JSON格式的请求体（RequestBody）数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。
ES进阶(1)-Query DSL基本使用
小生不才的博客
12-08 1301
1.SearchAPI ES 支持两种基本方式检索 : 通过使用 REST request URI 发送搜索参数（uri+检索参数） GET bank/_search?q=*&sort=account_number:asc 响应数据： { "took" : 21, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0
ES 查询用法
热门推荐
lazyboy2的博客
06-04 2万+
通过ES查询表达式(Query DSL)，可以实现复杂的查询功能，ES查询表达式主要由JSON格式编写，可以灵活的组合各种查询语句。 还支持一次搜索多个索引 按前缀匹配索引名 查询结果格式 2.query子句 query子句主要用来编写类似SQL的Where语句，支持布尔查询（and/or）、IN、全文搜索、模糊匹配、范围查询（大于小于）。aggs子句，主要用来编写统计分析语句，类似SQL的group by语句sort子句，用来设置排序条件，类似SQL的order by语句ES查询的分页主要通过from和s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

瑟 王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值