Elasticsearch下篇

于 2024-08-05 21:16:38 发布
阅读量311 收藏 6
点赞数 7
分类专栏： 黑马2024微服务笔记 文章标签： elasticsearch jenkins 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49429082/article/details/140937136
版权

Elasticsearch下篇

文章目录


在上次学习中，我们已经导入了大量数据到elasticsearch中，实现了商品数据的存储。不过查询商品数据时 依然采用的是根据id查询，而非模糊搜索 。

所以今天，我们来研究下elasticsearch的数据搜索功能。Elasticsearch提供了基于JSON的DSL（Domain Specific Language）语句来定义查询条件，其JavaAPI就是在组织DSL条件。

因此，我们先学习DSL的查询语法，然后再基于DSL来对照学习JavaAPI，就会事半功倍。

1 DSL查询

Elasticsearch提供了DSL（Domain Specific Language）查询，就是以JSON格式来定义查询条件，类似这样：

>

DSL查询可以分为两大类：

  • 叶子查询（Leaf query clauses）: 一般就是在特定的字段里查询特定值，属于简单查询，很少单独使用。
  • 复合查询（Compound query clauses）: 以逻辑方式组合多个叶子查询或者更改叶子查询的行为方式。

在查询以后，还可以对查询的结果做处理，包括：

  • 排序：按照一个或多个字段值做排序
  • 分页：根据from和size做分页，类似MySQL
  • 高亮：对搜索结果中的关键字添加特殊样式，使其更加醒目
  • 聚合：对搜索结果做数据统计以形成报表

1.1 快速入门

基于DSL的查询语法如下：

在这里插入图片描述

# 查询所有
GET /items/_search
{
  "query": {
    "match_all": {
      
    }
  }
}

在这里插入图片描述

会发现虽然是match_all，但是响应结果中并不会包含索引库中的所有文档，而是仅有10条。这是因为处于安全考虑，elasticsearch设置了默认的查询页数。

1.2 叶子查询

叶子查询还可以进一步细分，常见的有：

  • 全文检索（full text）查询: 利用分词器对用户输入内容分词，然后去词条列表中匹配。例如：
    • match_query
    • multi_match_query
  • 精确查询： 不对用户输入内容分词，直接精确匹配，一般是查找Keyword、数值、日期、布尔等类型。例如：
    • ids
    • range
    • term
  • 地理（geo）查询： 用于搜索地理位置，搜索方式很多。例如：
    • geo_distance
    • geo_bounding_box
1.2.1 全文检索查询

match查询： 全文检索查询的一种，会对用户输入内容分词，然后去倒排索引库检索，语法：

multi_match： 与match查询类似，只不过允许同时查询多个字段，语法：

在这里插入图片描述

# match查询
GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  }
}


# multi_match查询
GET /items/_search
{
  "query": {
    "multi_match": {
      "query": "牛奶",
      "fields": ["name","category"]
    }
  }
}
1.2.2 精确查询

精确查询 ，英文是Term-level query，顾名思义，词条级别的查询。也就是说不会对用户输入的搜索条件在分词，而是作为一个词条，与搜索的字段内容精确值匹配。因此推荐查询keyword、数值、日期、boolean类型的字段。例如id、price、城市、地名、人名等作为一个整体才有含义的字段。

在这里插入图片描述

注意：

#term 所有
GET /items/_search
{
  "query": {
    "term": {
      "name": {
        "value": "脱脂牛奶"
      }
    }
  }
}

对name进行精确查询，很容易查询不到任何信息。原因是，name是进行分词处理的，属性就是 可分词的文本 ，那么由于脱脂牛奶可以分成两个词语，一个脱脂，一个牛奶，当进行精确查询时，由于此查询中“脱脂牛奶”不分词，因此找不到一个对应的信息，查询结果为空。

在这里插入图片描述

#range 所有
GET /items/_search
{
  "query": {
    "range": {
      "price": {
        "gt": 10000,
        "lte": 20000
      }
    }
  }
}

#ids 所有
GET /items/_search
{
  "query": {
    "ids": {
      "values": ["584387","584392"]
    }
  }
}

在这里插入图片描述

1.3 复合查询

复合查询大致可以分为两类：

  • 第一类：基于逻辑运算组合叶子查询，实现组合条件，例如：
    • bool
  • 第二类：基于某种运算修改查询时的文档相关性算分，从而改变文档排名。例如：
    • function_score
    • dis_max

布尔查询 是一个或多个查询子句的组合。子查询的组合方式有：

  • must：必须匹配每个子查询，类似“与”
  • should：选择性匹配子查询，类似“或”
  • must_not：必须不匹配，不参与算分，类似“非”
  • filter：必须匹配，不参与算分

在这里插入图片描述

需求： 搜索“智能手机”，但品牌必须是华为，价格是900-1599

GET /items/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "name": "智能手机"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "brand": "华为"
          }
        },
        {
          "range": {
            "price": {
              "gte": 90000,
              "lte": 159900
            }
          }
        }
      ]
    }
  }
}

1.4 排序和分页

elasticsearch支持对搜索结果排序，默认是根据相关度算法（_score）来排序，也可以指定字段排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。

在这里插入图片描述

需求： 搜索商品，按照销量排序，销量一样则按照价格升序

# 排序查询
GET /items/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "sold" : "desc"
    },
    {
      "price": "asc"
    }
  ]
}

elasticsearch默认情况下只返回top10的数据。而如果要查询更对数据就需要修改分页参数了。elasticsearch中通过修改from、size参数来控制要返回的分页结果：

  • from：从第几文档开始
  • size：总共查询几个文档
    在这里插入图片描述

需求： 搜索商品，查询出销量排名前十的商品，销量一样时按照价格升序

 #排序查询
GET /items/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "sold" : "desc"
    },
    {
      "price": "asc"
    }
  ],
  "from": 0,
  "size": 10
}

深度分页问题

elasticsearch的数据一般会采用分片存储，也就是把一个索引中的数据分成N份，存储到不同节点上。查询数据时需要汇总各个分片的数据。

假如要查询第100页数据，每页查10条：

实现思路：

① 对数据排序

② 找出第990-1000名

假如我们现在要查询的是第999页数据呢，是不是要找第9990~10000的数据，那岂不是需要把每个分片中的前10000名数据都查询出来，汇总在一起，在内存中排序？如果查询的分页深度更深呢，需要一次检索的数据岂不是更多？

由此可知，当查询分页深度较大时，汇总数据过多，对内存和CPU会产生非常大的压力。

因此elasticsearch会禁止from+ size 超过10000的请求。

针对深度分页，ES提供了两种解决方案：

  • search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式
  • scroll：原理将排序数据形成快照，保存在内存。官方已经不推荐使用

search after模式：

  • 优点：没有查询上线，支持深度分页
  • 缺点：只能向后逐页查询，不能随机翻页
  • 场景：数据迁移，手机滚动查询

1.5 高亮显示

高亮显示： 就是在搜索结果中把搜索关键字突出显示。

在这里插入图片描述

# 高亮
GET /items/_search
{
  "query": {
    "match": {
      "name": "脱脂牛奶"
    }
  },
  "highlight": {
    "fields": {
      "name": {
        "pre_tags": "<em>",
        "post_tags": "</em>"
      }
    }
  }
}

在这里插入图片描述

2 JavaRestClient

2.1 快速入门

数据搜索的java代码分成两部分：

  • 构建并发起请求
  • 解析查询结果

在这里插入图片描述

在这里插入图片描述

    @Test
    void testMatchAll() throws IOException {
        //1. 创建request对象
        SearchRequest request = new SearchRequest("items");
        //2. 配置request参数
        request.source()
                .query(QueryBuilders.matchAllQuery());
        //3. 发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        System.out.println("response = " + response);
    }

解析查询结果的API：

在这里插入图片描述

    @Test
    void testMatchAll() throws IOException {
        //1. 创建request对象
        SearchRequest request = new SearchRequest("items");
        //2. 配置request参数
        request.source()
                .query(QueryBuilders.matchAllQuery());
        //3. 发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        //4. 解析结果
        SearchHits searchHits = response.getHits();
        //4.1 总条数
        long value = searchHits.getTotalHits().value;
        System.out.println("value = " + value);
        //4.2 命中的数据
        SearchHit[] hits = searchHits.getHits();
        for (SearchHit hit : hits) {
            //4.2.1 获取Source的结果
            String json = hit.getSourceAsString();
            //4.2.2 处理对象 比如转为ItemDoc
            ItemDoc doc = JSONUtil.toBean(json, ItemDoc.class);
            System.out.println("doc = " + doc);
        }
    }

2.2 构建查询条件

在javaRestAPI中，所有类型的query查询条件都是有QueryBuilders来构建的：

在这里插入图片描述

全文检索的查询条件构造API如下：

精确查询的查询条件构造API如下：

在这里插入图片描述

布尔查询的查询条件构造API如下：

在这里插入图片描述

案例

需求：利用javaRestClient实现搜索功能，条件如下：

  • 搜索关键字为脱脂牛奶
  • 品牌必须为德亚
  • 价格必须低于300
    @Test
    void testSearch() throws IOException {
        //1. 创建request对象
        SearchRequest request = new SearchRequest("items");
        //2. 组织DSL参数
        request.source()
                .query(QueryBuilders.boolQuery()
                        .must(QueryBuilders.matchQuery("name","脱脂牛奶"))
                        .filter(QueryBuilders.termQuery("brand.keyword","德亚"))
                        .filter(QueryBuilders.rangeQuery("price")
                                .lt(130000)));
        //3. 发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        parseResponseResult(response);
    }

2.3 排序和分页

与query类似，排序和分页参数都是基于request.source()来设置：

在这里插入图片描述

2.4 高亮显示

高亮显示的条件构造API如下：

在这里插入图片描述

高亮显示的结果解析API如下：

在这里插入图片描述

   @Test
    void testHighlight() throws IOException {

        //1. 创建request对象
        SearchRequest request = new SearchRequest("items");
        //2. 组织DSL参数
        //2.1 query条件
        request.source().query(QueryBuilders.matchQuery("name", "脱脂牛奶"));
        //2.2 高亮条件
        request.source().highlighter(SearchSourceBuilder.highlight()
                .field("name")
                .preTags("<em>")
                .postTags("</em>"));
        //3. 发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        //4. 解析结果
        parseHighlightResponseResult(response);
    }

    private static void parseHighlightResponseResult(SearchResponse response) {
        //4. 解析结果
        SearchHits searchHits = response.getHits();
        //4.1 总条数
        long value = searchHits.getTotalHits().value;
        System.out.println("value = " + value);
        //4.2 命中的数据
        SearchHit[] hits = searchHits.getHits();
        for (SearchHit hit : hits) {
            //4.2.1 获取Source的结果
            String json = hit.getSourceAsString();
            //4.2.2 处理对象 比如转为ItemDoc
            ItemDoc doc = JSONUtil.toBean(json, ItemDoc.class);
            //4.3 处理高亮结果
            Map<String, HighlightField> hfs = hit.getHighlightFields();
            if(hfs != null && !hfs.isEmpty()){
                //4.3.1 根据高亮字段名获取高亮结果
                HighlightField hf = hfs.get("name");
                //4.3.2 获取高亮结果，覆盖非高亮结果
                String hfName = hf.getFragments()[0].string();
                doc.setName(hfName);
            }
            System.out.println("doc = " + doc);
        }
    }

3 数据聚合

聚合（aggregations）可以实现对文档数据的统计、分析、运算。运算常见的有三类：

  • 桶（Bucket）聚合：用来对文档做分组
    • TermAggregation：按照文档字段值分组
    • Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组
  • 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等
    • Avg：求平均值
    • Max：求最大值
    • Min：求最小值
    • Stats：同时求max、min、avg、sum等
  • 管道（pipeline）聚合：其它聚合的结果为基础做聚合

3.1 DSL聚合

我们要统计所有商品中共有哪些商品分类，其实就是以分类（category）字段对数据分组。category值一样的放在同一组，属于Bucket聚合中的Term聚合。

默认情况下，Bucket聚合是对索引库的所有文档做聚合，我们可以限定要聚合的文档范围，只要添加query条件即可。例如，我想知道价格高于3000元的手机品牌有哪些：

在这里插入图片描述

# 聚合
GET /items/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "category.keyword": "牛奶"
          }
        },
        {
          "range": {
            "price": {
              "gte": 20000
            }
          }
        }
      ]
    }
  }, 
  "size": 0,
  "aggs": {
    "brand_agg":{
      "terms": {
        "field": "brand.keyword",
        "size": 10
      }
    }
  }
}

除了对数据分组（Bucket）以外，还可以对每个Bucket内的数据进一步做数据计算和统计。例如：我想知道手机有哪些品牌，每个品牌的价格最小值、最大值、平均值。

在这里插入图片描述

# 聚合
GET /items/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "term": {
            "category.keyword": "牛奶"
          }
        },
        {
          "range": {
            "price": {
              "gte": 20000
            }
          }
        }
      ]
    }
  }, 
  "size": 0,
  "aggs": {
    "brand_agg":{
      "terms": {
        "field": "brand.keyword",
        "size": 10
      },
      "aggs": {
        "price_stats": {
          "stats": {
            "field": "price"
          }
        }
      }
    }
  }
}

3.2 RestClient聚合

    @Test
    void testAgg() throws IOException {
        //1. 创建request对象
        SearchRequest request = new SearchRequest("items");
        //2. 组织DSL参数
        //分页
        request.source().size(0);
        //聚合条件
        String brandAggName = "brandAgg";
        request.source().aggregation(AggregationBuilders.terms(brandAggName).field("brand.keyword").size(10));
        //3. 发送请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);

        //4. 解析结果
        Aggregations aggregations = response.getAggregations();
        //4.1 根据聚合名称获取对应的聚合
        Terms aggregation = aggregations.get(brandAggName);
        //4.2 获取Buckets
        List<? extends Terms.Bucket> buckets = aggregation.getBuckets();
        //4.3 遍历获取每一个bucket
        for (Terms.Bucket bucket : buckets) {
            System.out.println("brand: " + bucket.getKeyAsString());
            System.out.println("count: " + bucket.getDocCount());
        }
    }
小小低头哥
关注
  • 7
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch性能优化篇
lmj3732018的博客
01-30 5457
对于任何一个系统来讲，性能优化最先优化的应该是架构，如果架构针对业务的应用场景考虑不够全面、不够长远，那么后面能做的优化效果可能不会太理想。
Elasticsearch使用篇 - 查询排序
The Secret
02-09 2790
本文介绍Elasticsearch的查询排序。
部署Elasticsearch下篇：安装Kibana
wangxudongx的专栏
02-14 1014
拉取对应版本的Kibana,官网文档说安装的Kibana版本要与es的主次版本一致: es:6.2.* kibana:6.2.* 第一步拉取镜像 # docker pull elastic/kibana:6.2.2 第二步运行容器 # docker run -d -p 5601:5601 -e ELASTICSEARCH_URL=http://172.17.0.4:9200 --name ...
龙叔学ES：elasticsearch扫盲篇
龙叔运维的博客
03-22 4414
什么是elasticsearch？ 读完本文章，让你对ES有一个基本的全面的了解
Elasticsearch连续剧之实战篇Java操作es
狮子也疯狂的博客
01-31 8524
大家好！我是狮子，在上几篇文章中，详细介绍了在kibana中操作es，现在我们来看看真实开发中，如何使用Java操作es。这个部分不难理解，就是搞清楚几个对象之前的作用，准确调用方法就好，咱们只需要了解以下用法，需要使用的时候，再查资料就行。但是真实开发中，一般都是使用框架封装好的对象（为咱么省略了好多繁琐步骤。
Elasticsearch基础篇之安装和基础使用
llaxw1989的博客
03-06 1194
ElasticSearch软件和基础使用
ElasticSearch Query_string + match_phrase 在千亿级检索中的思考
热门推荐
Angus
03-20 91万+
在舆情分析的应用场景中，数据规模通常在千亿以上。使用Elasticsearch 去构建搜索引擎，做相关的分析，面临着非常多的挑战。 先介绍一下，在舆情分析场景中，要用到的是 match phrase语法，针对文章做精准的句子匹配! 在这篇文章中，我会先讲一下我们面临的挑战;接着我会带着问题，分析一下 match phrase语法的检索过程；根据检索原理，考虑可以做哪些优化；以及针对我们面临的挑战，我的一些优化方法。
《SpringBoot篇》16.SpringBoot整合Elasticsearch
陈老老老板的博客
10-06 2万+
注：公司中大部分也是对于管理日志信息使用es，我们也是，这里做简单的教学，之后会有更加完整的ES学习介绍。说明：ES（Elasticsearch）Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Elasticsearch-Java操作篇
四维大脑的博客
07-17 2543
通常情况下，都是使用编程语言来操作es，本篇带来如何用elasticsearch-rest-high-level-client操作es。
ElasticSearch入门篇
yjh6688的博客
11-07 2462
第一节 ElasticSearch概述 1.1 ElasticSearch是一个基于Lucene的搜索服务器 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。ElasticSearch是用Java开发的， 并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。构建在全 文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析.
ElasticSearch入门篇.docx
03-12
- **百度**: 百度在其内部20多个业务线中广泛应用ElasticSearch进行文本数据分析和各类指标数据的收集与分析，如casio、云分析、网盟等业务，单集群可达到100台机器和200个ES节点，每天处理超过30TB的数据。...
Elasticsearch 分享 - 基础篇
06-19
根据给定的信息，我们可以深入...通过以上步骤，我们不仅了解了Elasticsearch的基本概念和应用场景，还掌握了关键术语以及如何在Linux环境下进行安装部署。这些知识对于理解和使用Elasticsearch都是非常重要的基础。
Elasticsearch入门篇（一、基本概念）1
08-03
Elasticsearch入门篇（一、基本概念） Elasticsearch是一个近实时的搜索平台，它意味着从索引文档的时间到可搜索的时间之间存在轻微的延迟（通常为一秒）。在Elasticsearch中，集群（cluster）是由一个或多个节点...
ElasticSearch使用说明书 - 整合篇
04-14
Elasticsearch 使用说明书整合篇详细解析 Elasticsearch（ES）是一种分布式、RESTful风格的搜索和数据分析引擎，常用于大数据分析和实时搜索场景。它不依赖传统的SQL数据库语句，而是采用JSON文档格式和HTTP协议...
第一章 ElasticSearch入门篇.docx
05-22
ElasticSearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 ElasticSearch 的基本概念包括：...
谷粒商城实战笔记-119~121-全文检索-ElasticSearch-mapping
epitomizelu的专栏
08-03 740
首先移除旧索引的别名，同时为新索引指定别名，这样在通过别名访问索引数据时，实际上访问的是新索引，这个变更的过程无需更新使用索引的引用程序。字段的数据将不会被索引，因此不能被搜索，也即是这个字段不能作为搜索条件。索引就像是MySQL等关系数据库的表一样，而表是有表结构的，表结构有字段名词和自动类型组成。但我们要修改一个已经存在的索引的mapping时，可用使用如下方式。：这是映射定义中的一个关键部分，它包含了索引中所有字段的定义。当然，前提是旧索引有别名，且应用程序使用的是别名。：指定字段的数据类型。
Elasticsearch 的DSL查询，聚合查询与多维度数据统计
最新发布
t194978的博客
08-04 717
以上两个概念后是理解下面实验的基础，如果是传统关系数据库mysql、oracle等存储的数据，也可以搜索和聚合，但是在数据聚合分析一块，毕竟不是它们的强项，而且需要在程序中做大量的处理，耗时费力，尤其是大数据量的情况下就有些力不从心了。在一个aggs执行的bucket操作（terms），平级的json结构下，再加一个aggs，这个第二个aggs内部，同样取个名字，执行一个metric操作，avg，对之前的每个bucket中的数据的指定的field、price。
Elasticsearch的DSL查询，分组后排序，并查询组数量
t194978的博客
08-04 253
Elasticsearch分组后，根据分组后的数量排序，并查询分组后的组数量，通过DSL和java API两种方式。
Git基础：使用指南
Hello World
08-02 777
使用命令git init，初始化Git仓库使用命令，可反复多次使用，添加多个文件使用命令完成提交使用命令git status，查看工作区状态如果git status告诉你有文件被修改过，用git diff可以查看修改内容HEAD指向当前版本，使用命令可以切换版本穿梭前，用git log可以查看提交历史，以便确定要回退到哪个版本要重返未来，用git reflog查看命令历史，以便确定要回到未来的哪个版本每次修改，如果不用git add到暂存区，那就不会加入到commit中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值