ElasticSearch 数据聚合、自动补全（自定义分词器）、数据同步

已于 2023-08-19 19:20:25 修改
阅读量1.4k 收藏 1
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch android 大数据 java
于 2023-08-19 18:59:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lx1232456/article/details/132363704
版权

文章目录

数据聚合

一、聚合的种类

官方文档 => 聚合 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html
聚合：对文档信息的统计、分类、运算。类似mysql sum、avg、count

  • 桶（Bucket）聚合：用来对文档做分组
    • TermAggregation：按照文档字段值分组（相当于mysql group by）
    • Date Histogram：按照日期阶梯分组，例如一周一组，一月一组
  • 度量（metric）聚合：用来计算一些值，最大值、平均值、最小值等。
    • Avg：平均值
    • Max：最大值
    • Min：最小值
    • Stats：同时求max、min、avg、sum等
  • 管道（pipeline）聚合：以其他聚合结果为基础继续做集合

二、DSL实现聚合

1、Bucket（桶）聚合

在这里插入图片描述

_count：默认是按照文档数量的降序排序

GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "_count": "asc"
        }
      }
    }
  }
}

上面使用的bucket聚合，会扫描索引库所有的文档进行聚合。可以限制扫描的范围：利用query条件即可。

GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "lt": 200 # 只对价位低于200的聚合
      }
    }
  }, 
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20,
        "order": {
          "_count": "asc"
        }
      }
    }
  }
}

2、Metrics（度量）聚合

在这里插入图片描述

聚合的嵌套，先对外层进行聚合，在对内存进行聚合
注意嵌套查询：写在外层查询括号内，而非并立。

GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "scoreAgg.avg": "asc"
        }
      },
      "aggs": {
        "scoreAgg": {
          "stats": {
            "field": "score"
          }
        }
      }
    }
  }
}

三、RestAPI实现聚合

在这里插入图片描述

bucket trem聚合（group by），实现品牌、星级、城市聚合的方法

    public Map<String, List<String>> filters(RequestParam requestParam) {
        String[] aggNames = new String[]{"brand","city","starName"};
        Map<String, List<String>> resultMap = new HashMap<>();

        SearchRequest searchRequest = new SearchRequest("hotel");

        // 限定聚合范围
        BoolQueryBuilder boolQueryBuilder = getBoolQueryBuilder(requestParam);
        searchRequest.source().query(boolQueryBuilder);

        // 聚合字段
        searchRequest.source().size(0);
        searchRequest.source().aggregation(AggregationBuilders.terms(aggNames[0]).field("brand").size(100));
        searchRequest.source().aggregation(AggregationBuilders.terms(aggNames[1]).field("city").size(100));
        searchRequest.source().aggregation(AggregationBuilders.terms(aggNames[2]).field("starName").size(100));

        try {
            SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
            Aggregations aggregations = searchResponse.getAggregations();

            for (String aggName : aggNames) {
                Terms terms =  aggregations.get(aggName);
                List<String> list = new ArrayList<>();
                for (Terms.Bucket bucket : terms.getBuckets()) {
                    list.add(bucket.getKeyAsString());
                }
                resultMap.put(aggName,list);
            }
            return resultMap;
        } catch (IOException e) {
            e.printStackTrace();
            return null;
        }
    }

自动补全

一、拼音分词器

在这里插入图片描述

下载拼音分词器：https://github.com/medcl/elasticsearch-analysis-pinyin/releases/tag/v8.6.0
解压放在plugins目录下（docker挂载的目录），然后重启es
在这里插入图片描述

二、自定义分词器

在这里插入图片描述
在这里插入图片描述

拼音分词器的过滤规则，参照上面下载的链接。
在这里插入图片描述

创建一个自定义分词器（text index库），分词器名：my_analyzer

// 自定义拼音分词器 + mapping约束
PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "ik_max_word",
          "filter": "py"
        }
      },
      "filter": {
        "py": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_analyzer",
        "search_analyzer": "ik_smart"
      }
    }
  }
}

在这里插入图片描述

三、自动补全查询

completion suggester查询：

  • 字段类型必须是completion
  • 字段值是多词条的数组才有意义

在这里插入图片描述

// 自动补全的索引库
PUT test2
{
  "mappings": {
    "properties": {
      "title":{
        "type": "completion"
      }
    }
  }
}
// 示例数据
POST test2/_doc
{
  "title": ["Sony", "WH-1000XM3"]
}
POST test2/_doc
{
  "title": ["SK-II", "PITERA"]
}
POST test2/_doc
{
  "title": ["Nintendo", "switch"]
}


// 自动补全查询
POST /test2/_search
{
  "suggest": {
    "title_suggest": {
      "text": "s", // 关键字
      "completion": {
        "field": "title", // 补全字段
        "skip_duplicates": true, // 跳过重复的
        "size": 10 // 获取前10条结果
      }
    }
  }
}

四、实现搜索款自动补全（例酒店信息）

在这里插入图片描述在这里插入代码片

构建索引库

// 酒店数据索引库
PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_anlyzer": {
          "tokenizer": "ik_max_word",
          "filter": "py"
        },
        "completion_analyzer": {
          "tokenizer": "keyword",
          "filter": "py"
        }
      },
      "filter": {
        "py": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "id":{
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword",
        "copy_to": "all"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart"
      },
      "suggestion":{
          "type": "completion",
          "analyzer": "completion_analyzer"
      }
    }
  }
}

查询测试

GET /hotel/_search
{
  "query": {"match_all": {}}
}

GET /hotel/_search
{
  "suggest": {
    "YOUR_SUGGESTION": {
      "text": "s",
      "completion": {
        "field": "suggestion",
        "skip_duplicates": true // 跳过重复的
      }
    }
  }
}

在这里插入图片描述
在这里插入图片描述

    public List<String> getSuggestion(String prefix) {
        SearchRequest request = new SearchRequest("hotel");
        ArrayList<String> list = new ArrayList<>();
        try {

            request.source().suggest(new SuggestBuilder().addSuggestion(
                    "OneSuggestion",
                    SuggestBuilders
                            .completionSuggestion("suggestion")
                            .prefix(prefix)
                            .skipDuplicates(true)
                            .size(10)
            ));

            SearchResponse response = restHighLevelClient.search(request, RequestOptions.DEFAULT);
            Suggest suggest = response.getSuggest();
            CompletionSuggestion oneSuggestion = suggest.getSuggestion("OneSuggestion");
            List<CompletionSuggestion.Entry.Option> options = oneSuggestion.getOptions();
            for (CompletionSuggestion.Entry.Option option : options) {
                String text = option.getText().toString();
                list.add(text);
            }

        } catch (IOException e) {
            e.printStackTrace();
        }

        return list;
    }

数据同步

双写一致性

同步调用数据耦合，业务耦合
在这里插入图片描述

异步通知：增加实现难度
在这里插入图片描述
监听binlog（记录增删改操作）：增加mysql压力，中间价搭建
在这里插入图片描述

linsy`
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 自动补全功能实现
caojie1117的博客
10-22 1102
自定义分词器分为三部分别是character filter字符过滤器分词器，过滤器character filter 字符过滤器是分词之前对词条进行处理tokenizer 分词器：指定分词器fliter 过滤器：对分好词条再次进行处理创建自定义分词器的索引，自定义分词器只能在当前索引下使用PUT /test：这是请求的路径，表示创建一个名为test的索引。"settings"：这是索引设置的参数，用于配置索引的分析器和过滤器。"analysis"：这是分析器和过滤器的设置。"analyzer"
ElasticSearch7.17.5版本自定义ik分词器源码
12-07
支持停止词，扩展词热更新，将分析器自定义为ik_smart_custom和ik_max_word_custom了，使用idea导入项目，mvn clear complile package 打包完成，使用release中的zip文件部署，记得修改db.properties中的数据库连接...
搜索自动补全-elasticsearch实现
qq_30166465的博客
05-23 695
github地址：https://github.com/infinilabs/analysis-pinyin/releases?page=6 必须与elasticsearch的版本相同 第四步，重启es 1.2 定义索引库 1.3 给索引库添加文档 详情参考我的另一篇博客: xxljob分片广播+多线程实现高效定时同步elasticsearch索引库 app_info_article对应的pojo类 核心代码 在xxl-job任务调度平台执行一次该任务，文档就被添加进去了 如图 示例1. 示例2. A
ES实现自动补全
温安适的专栏
02-22 3087
什么是自动补全 随用户输入，给与提示信息，如下图： ES实现原理 ⽤户每输⼊⼀个 字符，就需要即时发送⼀个查询请求到后段查找匹配项。 对性能要求⽐较苛刻。Elasticsearch 采⽤FST，FST 会被 ES 整个加载进内存， 速度很快。 实现方式： Completion Suggester 实现 1.定义 Mapping，使⽤ “completion” type 2.索引数据 3.运⾏ “suggest” 查询，得到搜索建议。 例子 1.定义 Mapping，使⽤ “comp
es自动补全
CV工程师呀
02-09 1350
1.拼音分词器 要实现根据字母做补全，就必须对文档按照拼音分词。在GitHub上恰好有elasticsearch的拼音分词插件。地址：https://github.com/medcl/elasticsearch-analysis-pinyin 安装方式与IK分词器一样，分三步： ​ ①解压 ​ ②上传到虚拟机中，elasticsearch的plugin目录 ​ ③重启elasticsearch ​ ④测试 测试用法如下： POST /_analyze { "text": "如家酒店还不错", "a
ElasticSearch自动补全
weixin_53676834的博客
04-28 1214
1、 如果只是单独使用拼音分词器，是没办法满足具体业务使用场景的，这时候就需要自定义分词器:2、通过自定义分词器，将ik分词器与拼音分词器整合起来，来保证我们的搜索既满足汉字也满足拼音"text":"我爱螺蛳粉",这个错误表明 Elasticsearch 在使用全局分析器pinyin时遇到了问题，因为它无法找到这个全局分析器。可能是由于缺少配置或插件问题导致的。你需要确保已正确配置了pinyin分析器，并且相关的插件已经正确安装和配置：./是指当前目录的简写。在Linux和类Unix系统中，
【ES】数据聚合&自动补全
Eumenides_Suki的博客
04-09 911
默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。character filters：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smarttokenizer filter：将tokenizer输出的词条做进一步处理。
基于Java的Elasticsearch数据同步迁移工具设计源码
04-03
本设计源码提供了一个基于Java的Elasticsearch数据同步迁移工具。项目包含29个文件，主要使用Java和Shell编程语言。文件类型包括7个Java源代码文件、5个BAT批处理文件、5个Shell脚本文件、3个XML配置文件、2个...
HBase-Elasticsearch 数据同步工具
最新发布
07-01
jdk timer定时全量同步 org.frameworkset.elasticsearch.imp.HBase2ESFullDemo jdk timer定时增量同步 org.frameworkset.elasticsearch.imp.HBase2ESScrollTimestampDemo ...HBase 到elasticsearch数据同步
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
elasticsearch-2.3.3
06-12
elasticsearch-2.3.3 官方版本
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
Elasticsearch 内置了多种分词器，如标准分词器（Standard Analyzer）、关键词分词器（Keyword Analyzer）和中文分词器（Smart Chinese Analyzer）等。这些分词器可以根据不同的语言和应用场景进行定制，以确保搜索...
ES实现自动补全查询
weixin_48850917的博客
09-24 840
【代码】ES实现自动补全查询。
ElasticSearch内容分享（五）：ElasticSearch自动补全
之乎者也·的博客
12-09 1192
如何使用拼音分词器？①下载pinyin分词器②解压并放到elasticsearch的plugin目录③重启即可如何自定义分词器？①创建索引库时，在settings中配置，可以包含三部分③tokenizer④filter拼音分词器注意事项？为了避免搜索到同音字，搜索时不要使用拼音分词器默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。character filters：在tokenizer之前对文本进行处理。
elasticsearch[五]：深入探索ES搜索引擎的自动补全与拼写纠错：如何实现高效智能的搜索体验
丨汀、的博客
01-17 2138
elasticsearch[五]：深入探索ES搜索引擎的自动补全与拼写纠错：如何实现高效智能的搜索体验
【ElasticSearch】ES自动补全查询与Java接口实现
llg___的博客
07-10 1777
实现搜索框自动补全，在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smart：将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等在创建索引库时，// 自定义分词器 "my_analyzer" : {
Elasticsearch之自动补全案例实战
花&败
07-04 500
1、案例需求： 通过拼音以及汉字筛选对应的明星！ 2、设置分词器以及mapping PUT starts { "settings": { "analysis": { "analyzer": { "start_name_analyzer":{ "char_filter":["html_strip"], "tokenizer":"keyword", "filter":"start_name_filt
【ElasticSearch】(分组统计，自动补全，数据同步)
上官玺的博客
10-05 2378
前面的例子告诉我们每个桶里面的文档数量，这很有用。但通常，我们的应用需要提供更复杂的文档度量。例如，每种品牌酒店的平均价格是多少？统计价格在500元之内酒店品牌有几种，此时可以根据酒店品牌的名称做聚合。在docker-compose.yml目录下执行下面命令，运行集群。使用head插件创建索引库，分片设置为3，每个分片设置1个副本。，例如求平均值、最大、最小、求和等，这些在ES中称为。分组完成以后，我们一般会对组中的数据进行。，每一组数据在ES中称为一个。，是按照某种方式对数据进行。主机: /hotel。
elasticsearch聚合、自动补全、数据同步
蓝朽的小世界
12-01 1336
es聚合、自动补全、数据同步
Elasticsearch 自定义分词器怎么配置
04-28
Elasticsearch 自定义分词器的配置可以通过以下步骤完成： 1. 创建一个新的分词器插件，可以使用 Maven 或 Gradle 进行构建。 2. 实现自定义分词器类，继承 `org.elasticsearch.index.analysis....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值