ElasticSearch Index查询（Query DSL）

已于 2023-03-03 13:56:35 修改
阅读量2.2k 收藏 3
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch 大数据 搜索引擎
于 2023-03-03 13:47:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WMSOK/article/details/129318052
版权

先贴一个Query DSL的官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html
我平时喜欢查看官方文档，了解数据查询和存储方面的性能优化点，下面是积累的脚本分享。

  1. 查询语句格式
GET /索引名/_search
{
    "查询类型": {
      "查询条件": "查询条件值"
    }
  }
}
  • 查询类型：match_all，match，term，range，fuzzy，bool 等等
  • 查询条件：查询条件会根据类型的不同，写法也有差异
  1. 分词匹配 match
    match进行搜索的时候，会先分词再匹配。通过operator指定多个分词之间的逻辑关系
{
  "query": {
    "match": {
      "nickname": {
        "query": "大山",
        "operator": "and"  // 默认值为or
      }
    }
  }
}

// 下面查询是上面查询的简写
{
  "query": {
    "match": {
      "nickname": "大山"
    }
  }
}
  1. 短语匹配match_phrase
    匹配含有短语中所有单词的文档，且单词之间没有插入别的单词。等价于match中指定"type": “phrase”。slop值可以指定临近的距离。
{
  "query": {
    "match_phrase": {
      "nickname": {
        "query": "大山"
      }
    }
  }
}
  1. 单项目匹配term
    由于term查询时并不会对提供的查询值分词，但ES对文档指定field的值做了standard分词，因此，standard分词时term检索的值必须是不可拆分的才能匹配出结果。 例如，对于汉字，只支持单个汉字的匹配；对于英文单词，只支持单个单词的匹配，也就是中间不能有空格。也因此term适合数字、boolean、date、数字字母字符串精确匹配；
{
  "query": {
    "term": {
      "author_id": "101572313821"
    }
  },
  "sort": [
    {
      "crawl_time": {
        "order":  "desc"
      }
    }
  ],
  "size": 30
}
  1. 单项目多值匹配terms
// 至少一个值在field中存在，相当于SQL中的IN
{
  "query": {
    "terms": {
      "title": ["love", "China"]
    }
  }
}
// 多个值都必须在field中存在
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "title": "love"
          }
        },
        {
          "term": {
            "title": "china"
          }
        }
      ]
    }
  }
}
  1. 逻辑运算should和must和must_not
    must所有条件都必须满足
    must_not 不能同时满足所有条件
    should：至少满足一个就可以
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "crawl_time": {
              "gte": "2021-03-29 00:00:00",
              "lte": "2021-03-31 00:00:00"
            }
          }
        },
        {
          "match_phrase": {
            "author_id": "70577810926"
          }
        }
      ]
    }
  },
  "sort": [
    {
      "crawl_time": {
        "order": "desc"
      }
    }
  ]
}
  1. 不计算score的filter
    使用 filter 来替代 must 查询，和must查询结果是一致的，差异仅是没有相关性得分，可以提高查询效率。建议了解下ES计算Score的查询实现。
{
"query": {
    "bool": {
      "filter": {
        "term": {"id": "13"}
      }
    }
 }
}

{
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "ctime": {
              "gte": "2021-03-28 00:00:00",
              "lt": "2021-04-01 00:00:00"
            }
          }
        },
        {
          "term": {
            "verify_name": "山西大昌联品汽车销售服务有限公司"
          }
        }
      ]
    }
  }
}

// filter支持按固定分数查询。（指定 boost 匹配分数是 2 的结果，默认不填是 1）
{
  "query": {
    "constant_score": {
      "filter": {
        "match": {
          "title": "火锅"
        }
      },
      "boost": 2
    }
  }
}
  1. 多域匹配multi_match
    有一个fields匹配就算成功
{
  "query": {
    "multi_match": {
      "query": "串串",
      "fields": [ "title", "tag"]
    }
  }
}
  1. 查询字符串query_string
{
  "query": {
    "query_string": {
      "query": "(水煮肉 and 回锅肉) or 西葫芦"
    }
  }
}

{
  "query": {
    "query_string": {
      "query": "中国声音",
      "analyzer": "ik_max_word", 
      "fields": ["name","content"]
    }
  }
}
  1. 查询Object类型
{
    "query": {
        "term": {
            "language.v4.keyword": "Spanish"
        }
    }
}
  1. 查询内嵌类型
    字段类型必须设置"type": “nested”
{
  "query": {
    "nested": {
      "path": "series",
      "query": {
        "match": {
          "series.series_name": "车"
        }
      }
    }
  }
}
  1. 查询Array的长度
GET /aweme-comment-dev/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "script": {
            "script": {
              "source": "doc['hot_words.word'].length==2",
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}
  1. 精确获取Hit的数量
GET /aweme-comment-dev/_search
{
  "track_total_hits": true,
  "query": {
    "bool": {
      "filter": {
        "range": {
          "ctime": {
            "gte": "2021-04-10 00:00:00",
            "lte": "2021-04-10 23:59:59"
          }
        }
      }
    }
  }
}
  1. 复杂Painless查询
GET /aweme-info-pro/_search?timeout=10000m
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "statistics_day": {
              "gte": "2021-06-01",
              "lte": "2021-08-01"
            }
          }
        }
      ], 
      "filter": {
        "script": {
          "script": "if (doc['publish_time'].size() != 0 && doc['statistics_day'].size() !=0 ){ doc['statistics_day'].value.toLocalDate().isBefore(doc['publish_time'].value.toLocalDate())} else {return false}"
        }
      }
    }
  }
}
  1. 两个字段间比较
GET /fans-pro/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "exists": {
            "field": "fans_id"
          }
        }
      ],
      "filter": [
        {
          "script": {
            "script": {
              "source": "doc['_id'].value != doc['fans_id'].value",
              "lang": "painless"
            }
          }
        }
      ]
    }
  },
	"sort": [
	  {
	    "mtime": {
	      "order": "desc"
	    }
	  }
	]
}
  1. 只显示指定的字段 _source
GET /aweme-comment-dev/_search
{
  "_source": "fans_id",
  "query": {
    "bool": {
      "filter": {
        "range": {
          "ctime": {
            "gte": "2021-04-10 00:00:00",
            "lte": "2021-04-10 23:59:59"
          }
        }
      }
    }
  }
}
  1. 通过includes和excludes指定需要和不需要的字段
{
  "_source": {
    "includes": [ "obj1.*", "obj2.*" ],
    "excludes": [ "*.description" ]
  },
  "query": {
    "term": {
      "user.id": "kimchy"
    }
  }
}
  1. 其他请求参数
// 显示版本号
"version": true

// 显示分片信息
"explain": true
  1. 文档数量查询
GET /aweme-info-dev/_count

GET /author-info-dev/_count
{
  "query": {
    "term": {
      "author_id": "96660564486"
    }
  }
}
  1. 聚合查询
    Bucket可以理解为一个桶，它会遍历文档中的内容，凡是符合某一要求的就放在一个桶中，分桶相当于sql中的group by, 关键字有Terms Aggregation，Filter Aggregation，Histogram Aggregation， Date Aggregation。
GET /aweme-comment-dev/_search
{
  "query": {
    "range": {
          "ctime": {
            "gte": "2021-04-10 00:00:00",
            "lte": "2021-04-10 23:59:59"
          }
        }
  },
  "size": 0, 
  "aggs": {
    "count_fans": {
      "value_count": {
        "field": "fans_id"
      }
    }
  }
}

GET /author-info-dev/_search
{
  "query": {
    "term": {
      "author_id": "96660564486"
    }
  },
  "size": 0, 
  "aggs": {
    "crawl_time_stats": {
      "stats": {
        "field": "crawl_time"
      }
    }
  }
}

聚合类型包含
min: Computes the minimum value for a group of buckets.
max: Computes the maximum value for a group of buckets.
avg: Computes the average value for a group of buckets.
sum: Computes the sum of all the buckets.
value_count: Computes the count of values in the bucket.
stats: Computes all the base metrics such as the min, max, avg, count, and sum.
extended_stats: Computes the stats metric plus variance, standard deviation (std_deviation), bounds of standard deviation (std_deviation_bounds), and sum of squares (sum_of_squares).
percentiles: Computes the percentiles (the point at which a certain percentage of observed values occur) of some values (see Wikipedia at http://en.wikipedia.org/wiki/Percentile for more information about percentiles).
percentile_ranks: Computes the rank of values that hit a percentile range.
cardinality: Computes an approximate count of distinct values in a field.
geo_bounds: Computes the maximum geobounds in the document where the GeoPoints are.
geo_centroid: Computes the centroid in the document where GeoPoints are.

  1. 按值聚合
GET /aweme-info-dev/_search
{
  "query": {
    "range": {
      "ctime": {
        "gte": "2021-04-10 00:00:00",
        "lte": "2021-04-10 23:59:59"
      }
    }
  },
  "size": 0,
  "aggs": {
    "aweme_id_agg": {
      "terms": {
        "field": "author_id",
        "size": 100   # 按文档数量doc_count字段倒排序后并取前100个author_id
      },
      "aggs": {
        "total_digg_count": {
          "sum": {
            "field": "digg_count_di"
          }
        },
        "avg_digg_count": {
          "avg": {
            "field": "digg_count_di"
          }
        },
        "agg_digg_count": {
          "terms": {
            "field": "digg_count_di"
          }
        }
      }
    }
  }
}

修改terms的排序方式：“order”: {“_count”: “asc”}
指定terms中doc_count的最小数量：“min_doc_count”: 3
指定terms中需要统计的值：“include”: [“BMW”, “Audi”]

GET /aweme-info-dev/_search
{
  "size": 0,  
  "query": {
    "range": {
      "ctime": {
        "gte": "2021-04-10 00:00:00",
        "lte": "2021-04-10 23:59:59"
      }
    }
  },
  "aggs": {
    "最小": {
      "min": {
        "field": "digg_count"
      }
    },
    "最大": {
      "max": {
        "field": "digg_count"
      }
    },
    "平均值": {
      "avg": {
        "field": "digg_count"
      }
    },
    "求和": {
      "sum": {
        "field": "digg_count"
      }
    },
    "去重count": {
      "cardinality": {
        "field": "author_id"
      }
    },
    "分组去重": {
      "terms": {
        "field": "aweme_id",
        "size": 10
      },
      "aggs": {
        "组内去重": {
          "cardinality": {
            "field": "author_id"
          }
        },
        "组内求和": {
          "sum": {
            "field": "digg_count"
          }
        }
      }
    }
  }
}
  1. 按值范围聚合
GET /author-info-dev/_search
{
  "track_total_hits": true,
  "size": 0, 
  "aggs": {
    "digg_distribute": {
      "range": {
        "field": "comment_count",
        "ranges": [
          {"to": 500},
          {"from": 501, "to": 1000},
          {"from": 1001}
        ]
      }
    }
  }
}

GET /cars/cars/_search
{
  "aggs": {
    "range": {
      "date_range": {
        "field": "sellTime",
        "format": "yyyy", 
        "ranges": [
          {
            "from": "2014",
            "to": "2019"
          }
        ]
      }
    }
  }
}
  1. 直方图聚合（按值间隔聚合）
GET /cars/cars/_search
{
  "aggs": {
    "prices": {
      "histogram": {
        "field": "price",
        "interval": 10000
      }
    }
  }
}

GET /cars/cars/_search
{
  "aggs": {
    "sales_over_time": {
      "date_histogram": {
        "field": "sellTime",
        "interval": "month",
        "format": "yyyy-MM-dd"
      }
    }
  }
}

GET /fans-follow-pro/_search
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "crawl_time": {
            "gte": "2021-04-12 00:00:00",
            "lte": "2021-04-21 00:00:00"
          }
        }
      }
    }
  },
  "size": 0,
  "aggs": {
    "range": {
      "date_histogram": {
        "field": "crawl_time",
        "format": "yyyy-MM-dd",
        "interval": "day"
      }
    }
  }
}
  1. 分组排序取第一
GET /aweme-info-dev/_search
{
  "query": {
    "range": {
      "ctime": {
        "gte": "2021-04-10 00:00:00",
        "lte": "2021-04-10 23:59:59"
      }
    }
  },
  "size": 0,
  "aggs": {
    "aweme_id_agg": {
      "terms": {
        "field": "author_id",
        "order": {
          "_count": "asc"     
        },
        "size": 10    
      },
      "aggs": {
        "NAME": {
          "top_hits": {
            "size": 1, 
            "sort": {"publish_time": "desc"},  # 按publish_time倒排序
            "_source": ["publish_time", "ctime"] 
          }
        }
      }
    }
  }
}


GET /dongchedi-live-info-afanti-pro/_search
{
  "query": {
    "range": {
      "crawl_time": {
        "lte": "2021-08-19 00:00:00",
        "gte": "2021-08-18 00:00:00"
      }
    }
  },
  "aggs": {
    "NAME": {
      "terms": {
        "field": "room_id",
        "size": 10,
        "order": {
          "_term": "asc"
        }
      },
      "aggs": {
        "NAME": {
          "top_hits": {
            "size": 1,
            "sort": [
              {
                "crawl_time": {
                  "order": "desc"
                }
              }
            ],"_source": ["crawl_time", "room_id", "room_status", "finish_time"]
          }
        }
      }
    }
  },
  "size": 0
}
  1. Group by + Distinct + Count
GET /dongchedi-live-polling-afanti-pro/_search
{
  "query": {
    "range": {
      "crawl_time": {
        "lte": "2021-08-18 00:00:00",
        "gte": "2021-08-01 00:00:00"
      }
    }
  },
  "aggs": {
    "NAME": {
      "date_histogram": {
        "field": "crawl_time",
        "interval": "day"
      },"aggs": {
        "doc_count": {
          "cardinality": {
            "field": "msg_id"
          }
        }
      }
    }
  }
}


GET /dongchedi-live-polling-afanti-pro/_search
{
  "query": {
    "range": {
      "crawl_time": {
        "lte": "2021-09-23 00:00:00",
        "gte": "2021-08-18 00:00:00"
      }
    }
  },
  "aggs": {
    "NAME": {
      "date_histogram": {
        "field": "crawl_time",
        "interval": "day"
      },
      "aggs": {
        "abc": {
          "cardinality": {
            "precision_threshold": 40000, # 当统计结果小于配置的 precision_threshold，此时是准确的；反之，则统计结果可能会有误差。最大为40000。
            "script": {
              "source": "doc['room_id'].value + ' ' + doc['msg_id'].value"
            }
          }
        }
      }
    }
  }
}
  1. Group by + Having+Count + Distinct
GET /aweme-info-pro/_search
{
  "size": 0,
  "aggs": {
    "NAME": {
      "terms": {
        "field": "item_id",
        "size": 200,
        "order": {
          "amount": "desc"
        }
      },
      "aggs": {
        "amount": {
          "cardinality": {
            "field": "author_id"
          }
        },
        "having": {
          "bucket_selector": {
            "buckets_path": {
              "amount": "amount"
            },
            "script": {
              "source": "params.amount >= 2 "
            }
          }
        }
      }
    }
  }
}
  1. Collapse实现Distinct
GET /author-info-dev/_search
{
  "query": {
    "term": {
      "author_id": "96660564486"
    }
  },
  "collapse": {
    "field": "author_id"
  }
}
  1. 通配符wildcard和模糊匹配fuzzy
    wildcard和fuzzy在standard分词器都无法匹配多个汉字
GET /author-info-dev/_search
{
  "query": {
    "bool": {
      "filter": {
        "wildcard": {
          "nickname": {
            "value": "姐"
          }
        }
      }
    }
  },
  "_source": "nickname"
}

GET /author-info-dev/_search
{
  "query": {
    "bool": {
      "filter": {
        "wildcard": {
          "nickname": {
            "value": "*姐*"
          }
        }
      }
    }
  },
  "size": 0,
  "aggs": {
    "distinct_nickname": {
      "terms": {
        "field": "city_id",
        "size": 100
      }
    }
  }
}

GET /author-info-dev/_search
{
  "query": {
    "fuzzy": {
      "signature":"老司机"
    }
  }
}

Cannot search on field [signature] since it is not indexed.

  1. 前缀查询Prefix
    prefix在standard分词器也无法匹配多个汉字
GET /author-info-dev/_search
{
  "query": {
    "prefix": {
      "author_id": {
        "value": "2"
      }
    }
  },
  "_source": "author_id"
}
DataCareer
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch Query DSL查询入门
ops-coffee
05-17 2042
本篇为学习DSL时做的笔记，适合ES新手，大佬请略过~ Query DSL又叫查询表达式，是一种非常灵活又富有表现力的查询语言，采用JSON接口的方式实现丰富的查询，并使你的查询语句更灵活、更精确、更易读且易调试 查询与过滤 Elasticsearch（以下简称ES）中的数据检索分为两种情况：查询和过滤。 Query查询会对检索结果进行评分，注重的点是匹配程度，例如检索“运维咖啡吧”与文档的标...
Elasticsearch高级查询Query DSL
Charge8的博客
06-19 2977
Elasticsearch高级查询Query DSL
elasticsearch 如何查看index的内容_查看es某个索引下的所有数据(2)
2401_84139697的博客
05-15 1012
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
【ES专题】ElasticSearch 高级查询语法Query DSL实战
qq_32681589的博客
10-31 2380
语法结构比较陌生没有中文文档， 只能看英文其他博客也比较少介绍语法结构。比如说，为什么查询中会出现query关键词就跟Mysql有自己的查询语言一样，ES作为一款优秀的分布式文档存储和【搜索引擎】，它也有自己的查询语言。即：Query DSL（查询Domain Specific Language），查询领域专用语言。Query DSL是利用RESTfull风格API传递JSON格式的请求体（RequestBody）数据与ES进行交互，这种方式的丰富查询语法让ES检索变得更强大，更简洁。
ElasticSearch级查询Query DSL上
尽力而为！
02-12 2169
常见的编辑距离值包括0、1、2，其中0表示精确匹配，1表示允许一个字符的差异，2表示允许两个字符的差异，以此类推。术语级别查询（Term-Level Queries）指的是搜索内容不经过文本分析直接用于文本匹配，这个过程类似于数据库的SQL查询，搜索的对象大多是索引的非text类型字段。术语查询直接返回包含搜索内容的文档，常用来查询索引中某个类型为keyword的文本字段，类似于SQL的“=”查询，使用十分普遍。参数，你可以指定要忽略的前缀长度，以便更精确地匹配剩余的部分。
Elasticsearch系列之Query DSL
冯文议技术博客
07-13 659
1 前言 我们先通过阅读官方文档，了解一些什么是 Query DSL 。 1.1 Query DSL Elasticsearch provides a full Query DSL (Domain Specific Language) based on JSON to define queries. DSL是啥？ 由Elasticsearch提供的一套完整的JSON格式的查询语句。 Think of the Query DSL as an AST (Abstract Syntax Tree)
ElasticSearch级查询Query DSL下
尽力而为！
02-12 1212
全文检索查询旨在基于相关性搜索和匹配文本数据。这些查询会对输入的文本进行分析，将其拆分为词项（单个单词），并执行诸如分词、词干处理和标准化等操作。Elasticsearch 中的一些全文检索查询示例包括 match、match_phrase 和 multi_match 查询。
【ElasticSearch-基础篇】ES高级查询Query DSL Bool Query布尔查询
qq_42890164的博客
01-15 1272
ElasticSearch结合springboot使用Bool Query布尔查询
Elasticsearch进阶之Query DSL
正在努力的杜三岁
02-27 248
Elasticsearch进阶之Query DSL
Elasticsearch教程(8) Query DSL 查询教程
Java Spring Elasticsearch
02-27 3278
Elasticsearch Index API
git命令使用详细介绍
有勇气的牛排博客
07-24 1726
Git 的master分支并不是一个特殊分支。之所以几乎每一个仓库都有 master 分支，是因为git init 命令默认创建它，并且大多数人都懒得去改动它。如果当前本地仓库不是从远程仓库克隆，而是本地创建的仓库，并且仓库中存在文件，此时再从远程仓库拉取文件的时候会报错（fatal: refusing to merge unrelated histories ）：.git隐藏文件夹的目录就是工作目录，主要用于存放开发的代码。：包含.git文件夹的目录就是工作目录，主要存放开发的代码。
Python 消费Kafka手动提交 批量存入Elasticsearch
ytp552200ytp的博客
07-25 190
Python 消费Kafka手动提交 批量存入Elasticsearch
【Python】基础学习&技能提升&代码样例1：简单句式
Code_LT的博客
07-24 1207
可迭代对象的例子包括所有序列类型（如 list, str 和 tuple 等）以及某些非序列类型如 dict, 文件对象 以及任何定义了。如果传入了额外的 iterables 参数，则 function 必须接受相同个数的参数并被用于到从所有可迭代对象中并行获取的项。map() 和 starmap() 之间的区别类似于 function(a,b) 和 function(*c) 之间的差异。返回一个将 function 应用于 iterable 的每一项，并产生其结果的迭代器。时，它会返回该对象的迭代器。
工作中es客户端常见使用错误
07-24 364
es客户端常见错误
HJ87密码等级
最新发布
晴山の博客
07-25 362
这个题目就是细心处理一下就行，比较简单。
Docker 中安装和配置带用户名和密码保护的 Elasticsearch
上善若水
07-25 355
通过以上步骤，你可以在 Docker 中成功安装并配置带用户名和密码保护的 Elasticsearch。使用 Docker Compose 可以更方便地管理和启动服务，并确保数据的持久性。如果需要进一步配置或优化 Elasticsearch，请参考官方文档。
gitlab以及分支管理
ln2915275834的博客
07-25 1475
每次提交，Git都把它们串成一条时间线，这条时间线就是一个分支。截止 到目前，只有一条时间线，在Git里，这个分支叫主分支，即master分支。HEAD 严格来说不是指向提交，而是指向master，而 master才是指向提交 的，所以，HEAD指向的就是当前分支。开始的时候，master分支是一条线，Git 用 master 指向最新的提交，再用 HEAD指向 master，就能确定当前分支，以及当前分支的提交点。
ES常见命令汇总
wangqiaowq的博客
07-24 205
"query": {
Elasticsearch 8.0 java 打印查询dsl
06-07
在 Elasticsearch 8.0 中，您可以使用 Java API 来打印查询 DSL。以下是一个示例代码片段： ```java SearchRequest searchRequest = new SearchRequest("your_index_name"); SearchSourceBuilder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值