ElasticSearch DSL语句（bool查询、算分控制、地理查询、排序、分页、高亮等）

已于 2023-08-19 19:19:07 修改
阅读量1.8k 收藏
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch 大数据 搜索引擎 java
于 2023-08-19 19:17:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LX1232456/article/details/132383095
版权

文章目录

DSL 查询种类

  • 查询所有：查询所有数据，一般在测试时使用。march_all，但是一般显示全部，有一个分页的功能
  • 全文检索（full text）查询：利用分词器对用户的输入内容进行分词，然后去倒排索引库匹配。例如：
    • match_query
    • mutil_match_query
  • 精确查询：根据精确词条值查询数据，一般查找的时keyword、数值、日期、boolean等字段。例如：
    • ids
    • term
    • range
  • 地理查询（geo）：根据经纬度查询，例如：
    • geo_distance
    • geo_bounding_box
  • 复合（compound）查询：复合查询时将上面各种查询条件组合在一起，合并查询条件。例如：
    • bool
    • funcation_score

DSL query 基本语法

1、全文检索

# DSL查询
GET /indexName/_search
{
  "query":{
    "查询类型":{
      "查询条件":"条件值"
    }
  }
}

match 与 multi_match 的与别是前者根据单字段查，后者根据多字段查。
参与搜索的字段越多，查询效率越低，建议利用copy_to将多个检索字段放在一起，然后使用match—all字段查。

GET /hotel/_search
{
  "query": {
    "match": {
      "city": "上海"
    }
  }
}

GET /hotel/_search
{
  "query": {
    "match": {
      "all": "如家"
    }
  }
}

 GET /hotel/_search
 {
   "query": {
     "multi_match": {
       "query": "如家",
       "fields": ["name","brand","business"]
     }
   }
 }

2、精确查询

精确查询： term字段全值匹配，range字段范围匹配。
精确查询一般查找keyword、数值、boolean等不可分词的字段

# term
GET /hotel/_search
{
  "query": {
    "term": {
      "city": {
        "value": "北京"
      }
    }
  }
}
# range
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gt": 1000,
        "lt": 2000
      }
    }
  }
}

3、地理查询

在这里插入图片描述
在这里插入图片描述

GET /hotel/_search
{
  "query": {
    "geo_bounding_box": {
      "location": {
        "top_left": {
          "lat": 31.1,
          "lon": 121.5
        },
        "bottom_right": {
          "lat": 30.9,
          "lon": 121.7
        }
      }
    }
  }
}

GET /hotel/_search
{
  "query": {
    "geo_distance": {
      "distance": "20km",
      "location": {
        "lat": 31.13,
        "lon": 121.8
      }
    }
  }
}

4、function score （算分控制）

复合查询（compound ）：将简单查询条件组合在一起，实现复杂搜索逻辑。

  • function score：算分函数查询，可以控制文档的相关性算分，控制排名。例如百度竞价

es在5.1及之后就弃用了 TF-IDF 算法，开始采用 BM25算法。BM25算法不会因为词的出现频率变大而导致算分无限增大，会逐渐趋近一个值
在这里插入图片描述
在这里插入图片描述

function score query ：可以修改文档相关性算分，得到新的算分。
三要素

  • 过滤条件：决定哪些条件要加分
  • 算分函数：如何计算function score
  • 加权方式：function score 与 query score如何运算
    在这里插入图片描述
GET /hotel/_search
{
  "query": {
    "function_score": {
      "query": {
        "match": {
          "all": "如家酒店"
        }
      },
      "functions": [
        {
          "filter": {
            "term": {
              "city": "上海"
            }
          },
          "weight": 10
        }
      ],
      "boost_mode": "sum"
    }
  }
}

5、bool 查询

boolean query：布尔查询是一个或多个子查询的组合。

  • must：必须匹配每个子查询，类似”and“
  • should：选择性匹配子查询，类似”or“
  • must_not：必须不匹配，不参与算分，类似”非“
  • filter：必须匹配，不参与算分
    在这里插入图片描述
GET /hotel/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "all": "上海"
          }
        }
      ],
      "must_not": [
        {
          "range": {
            "price": {
              "gt": 500
            }
          }
        }
      ],
      "filter": [
        {
          "geo_distance": {
            "distance": "10km",
            "location": {
              "lat": 31.21,
              "lon": 121.5
            }
          }
        }
      ]
    }
  }
}

搜索结果处理

1、排序

es支持对搜索结构进行排序，默认是根据相关度算分（_score）进行排序。可以排序的字段有keyword，数值、地理坐标、日期类型等。

GET /hotel/_search
{
  "query": {
    "match_all": {}
  },"sort": [
    {
      "id": {
        "order": "desc"
      }
    }
  ]
}
GET /hotel/_search
{
  "query": {
    "match_all": {}
  },"sort": [
    {
      "_geo_distance": {
        "location": {
          "lat": 31.2,
          "lon": 121.5
        },
        "order": "asc",
        "unit": "km"
      }
    }
  ]
}

这个排序的结果就是相聚的公里数。
在这里插入图片描述

2、分页

在这里插入图片描述

在这里插入图片描述
针对深度分页；ES给出了两种方案

  • search after：分页时需要排序，原理是从上次的排序值开始（末尾值），查询下一页的数据。官方推荐使用，不会太占内存。手机向下反动滚页。
  • scroll：原理是将排序数据形成快照，保存在内存。不推荐

3、高亮

在这里插入图片描述

ES默认搜索字段和高亮字段必须一致，否则不会高亮。或者使用 "require_field_match": "false" 也能高亮。

最后将查询结果中 highlight 与 指定高亮的字段进行替换返回给前端就行。
在这里插入图片描述

RestClient操作

在这里插入图片描述

在这里插入图片描述
普通查询

    @Test
    public void  testMatchAll() throws IOException {
        SearchRequest searchRequest = new SearchRequest("hotel");
        searchRequest.source().query(
                QueryBuilders.matchAllQuery()
        );
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

        SearchHits searchHits = searchResponse.getHits();

        long value = searchHits.getTotalHits().value;
        System.out.println(value);
        SearchHit[] hits = searchHits.getHits();
        System.out.println(hits[0]);
        HotelDoc hotelDoc = JSON.parseObject(hits[0].getSourceAsString(), HotelDoc.class);
        System.out.println(hotelDoc);
    }





        QueryBuilders.matchAllQuery()
        QueryBuilders.matchQuery("all","如家")
        QueryBuilders.multiMatchQuery("如家","name","brand","business")
        QueryBuilders.termQuery("city","上海")
        QueryBuilders.rangeQuery("price").gt(100).lt(400)
        
        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
        boolQueryBuilder.must(QueryBuilders.termQuery("city","北京"));
        boolQueryBuilder.filter(QueryBuilders.rangeQuery("price").gt(100).lt(400));

分页和排序

    public void testPageAndSort() throws IOException {
        int pageNum = 2, pageSize = 10;

        SearchRequest searchRequest = new SearchRequest("hotel");
        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("brand", "如家");
        MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("all", "北京");
        boolQueryBuilder.must(termQueryBuilder);
        boolQueryBuilder.must(matchQueryBuilder);

        searchRequest.source().query(boolQueryBuilder);
        searchRequest.source().from((pageNum - 1) * pageSize).size(pageSize);
        searchRequest.source().sort("price", SortOrder.ASC);

        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
        SearchHit[] hits = searchResponse.getHits().getHits();
        for (SearchHit hit : hits) {
            String source = hit.getSourceAsString();
            HotelDoc hotelDoc = JSON.parseObject(source, HotelDoc.class);
            System.out.println(hotelDoc);
        }
    }

高亮

    public void testHighLight() throws IOException {
        SearchRequest searchRequest = new SearchRequest("hotel");

        searchRequest.source().query(QueryBuilders.matchQuery("all","如家"));
        searchRequest.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

        SearchHit[] hits = searchResponse.getHits().getHits();
        for (SearchHit hit : hits) {
            String source = hit.getSourceAsString();
            HotelDoc hotelDoc = JSON.parseObject(source, HotelDoc.class);

            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            if(!highlightFields.isEmpty()){
                HighlightField highlightField = highlightFields.get("name");
                //一般value只有一个元素，取数组第一个
                String name = highlightField.getFragments()[0].string();
                hotelDoc.setName(name);
            }
            System.out.println(hotelDoc);
        }
    }

算分
让指定酒店置顶 （function_score ）广告业务
在这里插入图片描述

    // 算分控制
    FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery(
            // 原始查询
            boolQueryBuilder,
            // FunctionScore 数组
            new FunctionScoreQueryBuilder.FilterFunctionBuilder[]{
                    new FunctionScoreQueryBuilder.FilterFunctionBuilder(
                            QueryBuilders.termQuery("isAD", true),
                            ScoreFunctionBuilders.weightFactorFunction(10)
                    )
            }
    );
linsy`
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DSL查询语法
KK的博客
09-22 1823
使用ES的DSL查询语法
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
07-DSL查询文档
Black_Me的博客
02-14 345
DSL查询文档 elasticsearch的查询依然是基于JSON风格的DSL来实现的。 DSL查询分类 Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括： 查询所有：查询出所有数据，一般测试用。例如：match_all 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如： match_query multi_match_query 精确查询：根据精确词条值查找数
【ElasticSearch】DSL查询文档
m0_62645012的博客
04-24 1384
match和multi_match的区别是什么？match：根据一个字段查询multi_match：根据多个字段查询，参与查询字段越多，查询性能越差精确查询常见的有哪些？term查询：根据词条精确匹配，一般搜索keyword类型、数值类型、布尔类型、日期类型字段range查询：根据数值范围查询，可以是数值、日期的范围。
DSL搜索 - 布尔查询
柏~的博客
04-16 193
目录为指定词语加权 可以组合多重查询 must：查询必须匹配搜索条件，譬如 and should：查询匹配满足1个以上条件，譬如 or must_not：不匹配搜索条件，一个都不要满足 实操1： POST /shop/_doc/_search { "query": { "bool": { "must": [ ...
扩展：查询DSL
世界之大
03-08 1140
一、基本查询：es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在很多灵活性，也有很多形式。这里有一个地方注意的是官方文档里面给的例子的json结构只是一部分，并不是可以直接黏贴复制进去使用的。一般要在外...
DSL高级查询
a1314258800的博客
04-17 1110
DSL的基本操作
elasql:通用SQL到Elasticsearch DSL查询转换器
04-28
通用SQL到Elasticsearch DSL查询转换器。 专为设计 地位 实验性-加入我们，骇客入侵！ 安装 npm install elasql 用法 const convert = require('elasql').convert convert('SELECT id,name FROM shop WHERE shop_id...
Elasticsearch实现复合查询高亮结果功能
10-16
在本文中，我们将深入探讨如何使用Elasticsearch的Java API来实现复合查询并展示高亮结果。 首先，我们需要配置Elasticsearch客户端以便与ES集群通信。在给出的代码示例中，我们创建了一个`TransportClient`，这是...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
最新发布
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
ES简单实用DSL查询
beenle_m的博客
02-24 293
ES简单实用DSL查询 https://www.jianshu.com/p/3cb205b5354a https://www.cnblogs.com/kongzhagen/p/7899346.html
41-DSL查询文档
11-23 221
1.DSL查询文档 elasticsearch的查询依然是基于JSON风格的DSL来实现的。 1.1.DSL查询分类 Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括： 查询所有：查询出所有数据，一般测试用。例如：match_all 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如： match_query multi_match_query
Elasticsearch查询DSL语言（转载）
jie2xiu的博客
05-24 361
上面的过滤将返回所有 ​​status​​​ 字段值为 "published"，且 ​​age​​​ 字段值大于等于 18，同时不包含 ​​category​​​ 字段值为 "xxx" 的文档。上面的代码将查询 ​​my-index​​​ 索引中所有 ​​title​​​ 字段包含 "Elasticsearch"，且 ​​price​​ 字段的值在 10 和 100 之间的文档，并打印它们的 JSON 格式。上面的查询将匹配所有 ​​title​​ 字段包含单词 "Elasticsearch" 的文档。
ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案
CYK_byte的博客
09-26 2675
你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.
【ES系列】DSL查询进阶
m0_50697831的博客
03-05 520
【ES系列】DSL查询进阶
elasticsearch基础2——DSL查询文档,黑马旅游项目查询功能
vincewm的博客
09-14 1441
DSL查询文档、RestClient查询文档、全文检索查询、精准查询、复合查询、地理坐标查询、分页、排序、高亮、黑马旅游案例
好文转载 微服务分布式搜索引擎 ElasticSearch 搜索结果处理 排序、分页与高亮
AI_data_cloud的博客
05-05 198
当查询分页深度较大时，汇总数据过多，对内存和CPU会产生非常大的压力，因此elasticsearch会禁止from+ size 超过10000的请求。但是elasticsearch将来一定是集群，例如我集群有5个节点，我要查询TOP1000的数据，并不是每个节点查询200条就可以了。那每个节点都要查询10000条？因此要想获取整个集群的TOP1000，必须先查询出每个节点的TOP1000，汇总结果后，重新排名，重新截取TOP1000。按照声明的顺序，当第一个条件相等时，再按照第二个条件排序，以此类推。
elasticsearch DSL语句
08-11
您好！关于Elasticsearch DSL语句，我可以为您提供一些基本的信息。DSL（Domain Specific Language）是一种用于构建和执行查询的专用语言。在Elasticsearch中，您可以使用DSL语句来执行各种操作，如搜索、聚合和过滤。 下面是一些常用的Elasticsearch DSL语句示例： 1. 搜索文档： ``` GET /index_name/_search { "query": { "match": { "field_name": "search_term" } } } ``` 这个DSL语句将在`index_name`索引中搜索匹配`field_name`字段包含`search_term`的文档。 2. 聚合： ``` GET /index_name/_search { "aggs": { "agg_name": { "terms": { "field": "field_name" } } } } ``` 这个DSL语句将在`index_name`索引中聚合`field_name`字段的值。 3. 过滤文档： ``` GET /index_name/_search { "query": { "bool": { "filter": [ { "term": { "field_name": "filter_value" } } ] } } } ``` 这个DSL语句将过滤`index_name`索引中`field_name`字段等于`filter_value`的文档。 这些只是一些基本的示例，Elasticsearch DSL提供了更多的功能和查询选项。您可以根据具体的需求使用更复杂的DSL语句来执行更高级的操作。希望这些信息对您有所帮助！如有更多问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值