SpringCloud（9）— Elasticsearch聚合和自动补全

置顶 已于 2022-12-28 16:15:03 修改
阅读量1.2k 收藏 2
点赞数 2
分类专栏： SpringCloud 文章标签： elasticsearch spring cloud 大数据
于 2022-12-27 14:43:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shaopengjie2/article/details/128455664
版权

SpringCloud（9）— Elasticsearch聚合和自动补全

一 数据聚合

1.聚合的分类

聚合（aggregations）可以实现对文档数据的统计，分析，运算。常见的聚合有三种：

1.桶聚合（Bucket）

text 不支持 桶聚合

桶聚合（Bucket）用来对文档做分组，其中比较常见的有：

  • TermAggregation：按照文档的字段值进行分组，类似 MySql 中的 group by
  • Date Histogram：按照日期阶梯分组，例如 一周或者一月 为一组
2.度量聚合（Metric）

text 和 keyword 不支持 度量聚合

度量聚合用于计算一些值，比如最大值，最小值，平均值等。常见的有：

  • Avg：平均值
  • Max：最大值
  • Min：最小值
  • Sum：求和
  • Stats：同时求 Avg, Max, Min, Sum 等
3.管道聚合（pipeline）

管道聚合以其他聚合的结果为基础做聚合

参与聚合的字段类型，不能是 text 类型

一般为 keyword,date,bool,integer 等

2.DSL实现Bucket聚合

以下是语法示例：

GET /【indexName】/_search
{
  "size":"分页值,默认为10，只做聚合不做数据分页时设置为0，则只会返回聚合结果而不会返回文档",
  "aggs": {
    "聚合名称，可自定义": {
      "聚合类型，一般为 terms": {
        "field": "字段名",
        "size": 返回的数据量
      }
    }
  }
}

默认情况下，Bucket 聚合会统计文档数量记为 _count，且按照 _count 进行倒序排序。

如果需要修改的话，则只需要增加 order 属性，并设置排序规则即可

以下是以 brand 为例的聚合示例：

GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order":{
           "_count":"asc"
        }
      }
    }
  }
}

在这里插入图片描述

默认情况下，Bucket 聚合是对索引库的所有文档做聚合，对内存的消耗非常大。

我们可以通过增加 query 限定聚合的文档范围。

例如，只对 价格（price） 在 200-300 范围内的数据做聚合：

GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 200,
        "lte": 300
      }
    }
  }, 
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order":{
           "_count":"asc"
        }
      }
    }
  }
}

3.DSL实现 Metrics 聚合

利用 Stats 聚合，获取指定字段的各项度量值

GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20
      },
      "aggs":{           //是 brandAgg 聚合后的子聚合，也就是分组后对每组分别计算
        "score_stats":{  //聚合名称
          "stats": {     //聚合类型，此处可以是 min,max,avg等
            "field": "score"  //聚合的字段值，只能是数值类型，因为只有数组可以进行加减乘除
          }
        }
      }
    }
  }
}

DSL 示例：

GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20
      },
      "aggs":{
        "score_stats":{
          "stats": {
            "field": "score"
          }
        }
      }
    }
  }
}

运行 DSL 代码，得到下图右侧的结果，利用 stats 同时计算出了最大值，最小值，和值，平均值以及数量。

在这里插入图片描述

此时如果想要对按照聚合之后的值排序，则应当使用 score_stats 中的属性来定义。

例如，按照 score 的最大值进行排序

GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "score_stats.max": "desc"
        }
      },
      "aggs":{
        "score_stats":{
          "stats": {
            "field": "score"
          }
        }
      }
    }
  }
}

4.RestClient实现聚合

先参考以下对照图

在这里插入图片描述

以下是测试示例：

@Test
public void testAggregationBrand() throws IOException {

    //1.创建 SearchRequest 对象，指定索引库名称
    SearchRequest request = new SearchRequest("hotel");
    //2.去掉文档数据
    request.source().size(0);
    request.source().aggregation(
            AggregationBuilders
                    //设置聚合类型为 term，且为聚合起名
                    .terms("brandAgg")
                    //设置需要聚合的字段
                    .field("brand")
                    //设置返回的数据量
                    .size(20)
                    //设置排序，
                    .order(BucketOrder.aggregation("_count",true))
    );
    //3.发送请求
    SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);

    //获取全部聚合结果
    Aggregations aggregations = response.getAggregations();
    //根据 聚合名称 获取聚合结果
    Terms brandTerms = aggregations.get("brandAgg");
    //获取桶
    List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
    //遍历数据
    for (Terms.Bucket bucket : buckets) {
        String brandName = bucket.getKeyAsString();
        Long docCount = bucket.getDocCount();
        System.out.println(brandName+","+docCount);
    }
}

需要注意：使用 AggregationBuilders 来构建一个 aggregation 对象

二 自动补全

1.拼音分词器的使用

GitHub地址：elasticsearch-analysis-pinyin

安装步骤：

  1. 下载指定版本（与 es 版本保持一致，文档使用 v7.12.1）的 elasticsearch-analysis-pinyin
  2. 解压并上传至 es 容器挂载插件的目录（与 ik分词器 同一个目录）
  3. 重启 es 容器
  4. 测试
GET /_analyze
{
  "text":["如家"],
  "analyzer": "pinyin"
}

返回一下结果说明分词器安装成功，且成功分词

在这里插入图片描述

2.自定义分词器

1.分词器的构成
  • character filters：在 tokenizer 之前对文本进行处理，例如 删除字符，替换字符等
  • tokenizer：将文本按照一定的规则切割成词条（term），例如 keyword。
  • tokenizer filter：将 tokenizer 输出的词条做进一步的处理，例如大小写转换，同义词处理，拼音处理等

在这里插入图片描述

自定义分词器时不一定三部分都需要。根据实际业务需求即可。例如以下示例，只有 tokenizer 和 filter两部分，并没有 character

2.自定义分词器的实现

在创建索引库时，通过 settings 来配置自定义的 analyzer（分词器）

因为自定义分词器是在创建索引库时指定，所以自定义分词器只针对当前的索引库生效

以下是语法示例：

PUT /【indexName】
{
  "settings": {
    "analysis": {
      "analyzer": {
        "自定义分词器的名称":{
          "tokenizer":"分词器名称",
          "filter":"分词器名称"
        }
      }
    }
  }
}

实现示例：

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"pinyin"
        }
      }
    }
  }
}

以上这种默认实现会将汉字分为一个一个的拼音，这并非我们想要的。参考文档，设置其他相关参数。

以下是实现示例：

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",   // 使用拼音分词器，以下为拼音分词器的部分参数设置
          "keep_full_pinyin":false,
          "keep_joined_full_pinyin":true,
          "keep_original":true,
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  }
}
  • my_analyzer：自定义的分词器名称
  • py：自定义的分词器名称
3.拼音分词器注意事项

拼音分词器是和在创建倒排索引时使用，但不能在搜索时使用（会搜到同音词），因此字段在创建索引时应该使用创建的分词器，字段在搜索时应该使用 ik_smart 分词器

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",
          "keep_full_pinyin":false,
          "keep_joined_full_pinyin":true,
          "keep_original":true,
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

3.自动补全查询

1.Completion Suggester

elasticsearch 提供了 Completion Suggester 查询来实现自动补全，这个查询会匹配以用户输入的内容开头的词条并返回。

为了提高查询提高效率，需要堆文档中的字段做一些约束：

  • 要求查询字段必须为 completion 类型
  • 字段的内容一般是用来补全的多个词条形成的数据

在这里插入图片描述

2.语法示例
GET /test/_search
{
  "suggest": {
    "自定义suggest名称": {
      "text": "YOUR TEXT",
      "completion":{
        "field":"字段名",        // 补全查询的字段
        "skip_duplicates":true, //跳过重复的
        "size":10               // 获取前10条结果
      }
    }
  }
}

三 实现搜索的自动补全

1.修改原有的数据结构

使用自定义分词器，并且增加 suggestion 字段，用于实现自动补全

PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_analyzer":{
          "tokenizer":"ik_max_word",
          "filter":"py"
        },
        "completion_analyzer":{
          "tokenizer":"keyword",
          "filter":"py"
        }
      },
      "filter": {
        "py":{
          "type":"pinyin",
          "keep_full_pinyin":false,
          "keep_joined_full_pinyin":true,
          "keep_original":true,
          "limit_first_letter_length":16,
          "remove_duplicated_term":true,
          "none_chinese_pinyin_tokenize":false
        }
      }
    }
  }, 
  "mappings": {
    "properties": {
      "suggestion":{
        "type": "completion",
        "analyzer": "completion_analyzer"
      },
      "all":{
        "type": "text",
        "analyzer": "text_analyzer",
        "search_analyzer": "ik_smart"
      },
      "id":{
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "copy_to": "all", 
        "analyzer": "text_analyzer",
        "search_analyzer": "ik_smart"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "double"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword",
        "copy_to": "all"
      },
      "starName":{
        "type": "keyword",
        "copy_to": "all"
      },
      "business":{
        "type": "keyword",
        "copy_to": "all"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "isAD":{
        "type": "boolean"
      }
    }
  }
}

2.重新导入数据

修改实体类与文档的对应关系，重新导入数据

@Data
@NoArgsConstructor
public class HotelDoc {
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String location;
    private String pic;

    private Object distance;
    /**
    * 新增自动补全字段
    */
    private List<String> suggestion;

    /**
     * 广告
     */
    public Boolean isAD;

    public HotelDoc(Hotel hotel) {
        this.id = hotel.getId();
        this.name = hotel.getName();
        this.address = hotel.getAddress();
        this.price = hotel.getPrice();
        this.score = hotel.getScore();
        this.brand = hotel.getBrand();
        this.city = hotel.getCity();
        this.starName = hotel.getStarName();
        this.business = hotel.getBusiness();
        this.location = hotel.getLatitude() + "," + hotel.getLongitude();
        this.pic = hotel.getPic();
        //处理广告字段（isAD）格式
        if (hotel.getIsAD() == 1) {
            this.isAD = true;
        } else {
            this.isAD = false;
        }
        //处理自动补全信息
        List<String> list =new ArrayList<>();

        list.add(hotel.getName());
        list.add(hotel.getBrand());

        //商圈信息含有"/"时视为多个，做切割处理
        String business = hotel.getBusiness();
        if (business.contains("/")) {
            String[] businessArr = business.split("/");
            Collections.addAll(list,businessArr);
        }

        this.setSuggestion(list);

    }
}

导入数据完成，使用 DSL 语句进行测试

GET /hotel/_search
{
  "suggest": {
    "textSuggestion": {
      "text": "s",
      "completion": {
        "field": "suggestion",
        "skip_duplicates":true,
        "size":10
      }
    }
  }
}

3.RestClient实现自动补全

先看格式对照

在这里插入图片描述

编写测试代码，实现自动补全

@Test
void testSuggestion() throws IOException {
    //1.创建 SearchRequest 对象
    SearchRequest searchRequest=new SearchRequest("hotel");
    //2.构造 DSL 语句
    searchRequest.source().suggest(
            new SuggestBuilder().addSuggestion("textSuggestion",
                    SuggestBuilders.completionSuggestion("suggestion")
                            .prefix("bj")
                            .skipDuplicates(true)
                            .size(10)
            ));
    //3.发送请求
    SearchResponse response = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
    //4.处理数据
    Suggest suggest = response.getSuggest();
    CompletionSuggestion suggestion= suggest.getSuggestion("textSuggestion");

    for (CompletionSuggestion.Entry.Option option : suggestion.getOptions()) {
        String text = option.getText().toString();
        System.out.println(text);
    }
}

解析结果实际按照Json格式去逐层解析：

在这里插入图片描述

四 数据同步

  1. elasticsearch中的数据来源于数据库，因此数据库发生改变时， es 中的数据必须也跟着变。这就是 es 和数据库之间的同步问题
  2. 在微服务项目中，不同的业务一般运行在不同的服务器上，该如何解决？

1.同步调用

优缺点：

实现简单，粗暴。但是业务耦合度高

在这里插入图片描述

2.异步调用

优缺点：

低耦合，实现难度一般。但是过于依赖MQ的可靠性

在这里插入图片描述

3.监听binlog

优缺点：

耦合度完全解除。但是开启之后mysql的负担增加，且实现复杂度高

在这里插入图片描述

2022-12-28，增加 第四节 数据同步
完结撒花！！！

我不配拥有55kg的你
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
探索SpringCloud+ES实现高性能全文检索
雾猩CODER的博客
11-15 693
记录SpringCloud+ES实现高性能全文检索的教程ES搭建：1、下载ES安装包2、解压安装包，并在安装目录的bin目录下执行3、安装对应版本的Kibana4、下载对应的elasticsearch-analysis-ik分词器补充知识：ES集成到Springboot项目： SpringCloud基础框架搭建略过。。 ES搭建： 什么是Elasticsearch？ (You know, for search and analysis) Elasticsearch是Elastic Stack核心的分布
es(elasticsearch)整合SpringCloud（SpringBoot）搭建教程详解
08-19
主要介绍了es(elasticsearch)整合SpringCloud（SpringBoot）搭建教程，本文通过实例图文相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
微服务SpringCloudAlibaba springboot整合ElasticSearch实现商品搜索功能
mjl1125的博客
12-16 2573
微服务SpringCloudAlibaba springboot整合ElasticSearch实现商品搜索功能
SpringCloud-深度理解ElasticSearch
最新发布
踏雨歌青春，诗酒趁年华
03-13 2334
本文深入探讨了Elasticsearch的概念和原理，详解了其强大的全文搜索引擎功能、高效的数据分析与聚合能力以及多领域应用场景。通过对实际项目中与MySQL协同应用的案例分析，揭示了Elasticsearch在大数据时代的重要性。文章总结了Elasticsearch在搜索、数据分析和实时监控等领域的卓越表现，强调其作为一款开源工具的广泛应用前景。
SpringCloud——分布式搜索之初识elasticsearch
qq_52227892的博客
06-06 320
Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。
微服务框架 SpringCloud微服务架构 22 DSL 查询语法 22.5 相关性算分
谢谢你们的关注
12-07 139
微服务框架 SpringCloud微服务架构 22 DSL 查询语法 22.5 相关性算分
SpringCloud学习路线（10）——分布式搜索ElasticSeach基础
Zain_horse的博客
07-25 747
本篇主要是介绍ES的概念以及使用，经过Docker拉取ES，并搭配ES网络组合Kibana进行客户端的控制；通过Kibana控制台进行DSL语句测试；介绍了IK 分词器的使用以及对其两种分词模式，扩展词典，禁用词典等方面进行描述和使用。这里介绍了Mapping映射的相关内容，对索引库的CRUD，对文档的CRUD；也介绍了JavaRestClient进行控制ES的控制。
基于SpringCloud+ElasticSearch+Vue分布式微服务全品类购物商城设计
11-01
开发工具： Idea + WebStorm + Mysql5.6 + Redis + ...用户登录后可以根据关键词搜索对应的商品信息，这里的搜索对接了全文搜索引擎ElasticSearch，它的核心原理在于倒排索引和分词技术，其中商品页面访问量大，
springcloud+nocos+mongodb+redis+es
08-20
主要有三个模块，springcloud集成es，gateway，mongdodb， 通知有基于feign调用的整套代码注解说明 能帮助大家轻易打建springcloud基于nocos配置，注册中心的微服务架构 包含了远程共享私库 manven配置， nacos配置...
SpringCloud视频教程全套百度网盘
03-01
第6章 ElasticSearch详细讲解及应用 第7章 Eureka分布式服务器的搭建 。。。。。。。。。 第15章 SpringCloud项目实战 。。。。。。。。。 第20章 SpringCloud总结 学习SpringCloud前面要对SpringBoot有一定的了解...
SpringCloud——分布式搜索elasticsearch之RestClient查询文档
qq_52227892的博客
06-07 243
RestClient是Elasticsearch官方提供的一个用于与Elasticsearch集群进行通信的Java库。它提供了一组简单易用的API，我们可以使用Java代码进行与Elasticsearch的交互。
优化大数据量查询方案——SpringBoot（Cloud）整合Elasticsearch
程序员闪充宝
08-08 268
一、Elasticsearch简介实际业务场景中，多端的查询功能都有很大的优化空间。常见的处理方式有：建索引、建物化视图简化查询逻辑、DB层之上建立缓存、分页…然而随着业务数据量的不断增多，总有那么一张表或一个业务，是无法通过常规的处理方式来缩短查询时间的。在查询功能优化上，作为开发人员应该站在公司的角度，本着优化客户体验的目的去寻找解决方案。本人有幸做过Tomcat整合solr，今天一起研究一下...
SpringCloud——分布式搜索elasticsearch之DSL查询语句的使用
qq_52227892的博客
06-07 418
在Elasticsearch中，我们可以通过指定排序方式来对查询结果进行排序。可以排序的字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。默认情况下Elasticsearch会根据查询的相关性得分对文档进行排序，以便将与查询最相关的文档排在前面。相关性得分是根据匹配查询条件的程度和其他因素计算的，Elasticsearch会自动处理。
SpringCloud整合Elastic Search（二）
qq_41177135的博客
06-29 382
SpringCloud整合Elastic Search（二）
springdata elasticsearch 聚合查询
安然无恙的博客
09-12 4058
es 库里边有一批数据，现在想查询一下这批数据有哪几种类型，并且每个类型下有多少条数据 对应实际的业务场景 代码如下： public void searchPage() { //分页查询 Pageable pageable= PageRequest.of(0,100); SearchQuery searchQuery=ne...
SpringCloud：ElasticSearch之数据聚合
时代各有不同，青春一脉相承。
04-18 416
聚合（aggregations） 可以让我们极其方便的实现对数据的统计、分析、运算。实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。聚合常见的有三类：桶（Bucket） 聚合：用来对文档做分组；度量（Metric） 聚合：用以计算一些值，比如：最大值、最小值、平均值等；管道（pipeline） 聚合：其它聚合的结果为基础做聚合。注意： 参加聚合的字段必须是keyword、日期、数值、布尔类型。
07SpringCloud-Elasticsearch
ZUCK的博客
11-18 2746
1.初识Elasticsearch 什么是elasticsearch elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容 elasticsearch结合kibana、Logstash、 Beats, 也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。 elasticsearch可以将日志信息可视化展示出来，所以将来做日志分析时候非常方便。因此搜索引擎使用的场景非常广泛，ELK技术栈里面尽管有很多组件，核心就是elasti
elasticsearch分布式搜索引擎详细使用总结
欢迎来到编程小栈
07-25 1891
文章目录一、初识elasticsearch1.1.ES了解1.1.1.elasticsearch的作用1.1.2.ELK技术栈1.1.3.elasticsearch和lucene1.1.4.为什么不是其他搜索技术？1.1.5.总结1.2.倒排索引1.2.1.正向索引1.2.2.倒排索引1.2.3.正向和倒排1.3.ES中的概念1.3.1.文档和字段1.3.2.索引和映射1.3.3.mysql与elasticsearch1.4.安装es、kibana1.4.1部署单点es1.1.创建网络1.2.加载镜像1.3
如何使用Spring Cloud搭建高可用的Elasticsearch集群？详解Elasticsearch的安装与配置及Spring Boot集成的实现
热门推荐
陈书予
03-03 2万+
Elasticsearch 是一个基于 Lucene 的分布式搜索引擎，它提供了实时分析、搜索、建议和聚合功能。它能够快速地存储、搜索和分析大量结构化和非结构化数据，并且具有高可用性和可伸缩性。Elasticsearch 提供了一个 RESTful API，可以通过 HTTP 协议进行访问和操作。Spring Cloud 是基于 Spring Boot 的微服务框架，它提供了一系列组件和工具，包括服务注册与发现、配置管理、负载均衡、熔断器、分布式追踪等，可以快速搭建和管理分布式系统。
springboot 整合 elasticsearch 实现搜索自动补全
12-27
为了实现搜索自动补全功能，我们可以使用SpringBoot来整合Elasticsearch。首先，我们需要在SpringBoot的pom.xml文件中引入Elasticsearch的依赖。然后，我们需要在application.properties中配置Elasticsearch的主机...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值