微服务——ES实现自动补全

最新推荐文章于 2024-08-14 00:04:35 发布
最新推荐文章于 2024-08-14 00:04:35 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： 微服务 文章标签： 微服务 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62327332/article/details/132168994
版权

效果展示

在搜索框根据拼音首字母进行提示

 

 

拼音分词器

和IK中文分词器一样的用法，按照下面的顺序执行。 

# 进入容器内部
docker exec -it elasticsearch /bin/bash
 
# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.12.1/elasticsearch-analysis-pinyin-7.12.1.zip
 
#退出
exit
#重启容器
docker restart elasticsearch

重启完成之后进行拼音分词可以看见每个字都有，以及整个词语首字母组合成的一个。

​

 自定义分词器

只用默认的功能还远远不够。

先用ik进行分词，再用拼音分词器分

​

 ​

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",
          "filter": "py"
        }
      },
      "filter": {
        "py": { 
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

 在test这份索引库当中再次测试就可以看见既有中文也有拼音分词了。

POST /test/_analyze
{
  "text":["北岭山脚鼠鼠"],
  "analyzer": "my_analyzer"
}

​

 但是这里还会有问题，用中文搜索时会把同音字也一起搜索到

​

指定搜索时和创建时用不同的分词器

​ 在上面的语句里面加上了一条

        "search_analyzer": "ik_smart"

 

POST /test/_doc/1
{
  "id": 1,
  "name": "狮子"
}
POST /test/_doc/2
{
  "id": 2,
  "name": "虱子"
}

GET /test/_search
{
  "query": {
    "match": {
      "name": "掉入狮子笼咋办"
    }
  }
}

 结果如下

​

 DSL实现自动补全查询

​

查询补全语法

​ 数据准备

// 自动补全的索引库
PUT test2
{
  "mappings": {
    "properties": {
      "title":{
        "type": "completion"
      }
    }
  }
}
// 示例数据
POST test2/_doc
{
  "title": ["Sony", "WH-1000XM3"]
}
POST test2/_doc
{
  "title": ["SK-II", "PITERA"]
}
POST test2/_doc
{
  "title": ["Nintendo", "switch"]
}

 查询语句

// 自动补全查询
GET /test2/_search
{
  "suggest": {
    "title_suggest": {
      "text": "s", // 关键字
      "completion": {
        "field": "title", // 补全字段
        "skip_duplicates": true, // 跳过重复的
        "size": 10 // 获取前10条结果
      }
    }
  }
}

​

 ​

 酒店数据自动补全

​

修改酒店索引库数据结构

DELETE /hotel
# 酒店数据索引库
PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_anlyzer": {
          "tokenizer": "ik_max_word",
          "filter": "py"
        },
        "completion_analyzer": {
          "tokenizer": "keyword",
          "filter": "py"
        }
      },
      "filter": {
        "py": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "id":{
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword",
        "copy_to": "all"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart"
      },
      "suggestion":{
          "type": "completion",
          "analyzer": "completion_analyzer"
      }
    }
  }
}

先删除再重新创建一个

然后在HotelDoc这个实体类里面新增一个字段suggestion,这个字段是由现有的字段组成放进去。

private List<String> suggestion;

this.suggestion= Arrays.asList(this.brand,this.business);

然后重新执行之前的批量插入的语句

​ 再次测试搜索可以看见搜索得到的结果里面多出了品牌和商圈信息。 

​ 但是这里business字段有可能是由多个的，要进行切割。

修改HotelDoc上面的构造方法的代码

        if(this.business.contains("、")){
            //business有多个值，需要切割
            String[] arr = this.business.split("、");
            //添加元素
            this.suggestion=new ArrayList<>();
            this.suggestion.add(this.brand);
            Collections.addAll(this.suggestion,arr);
        }else {
            this.suggestion = Arrays.asList(this.brand, this.business);
        }

再次插入数据可以看见多个词条已经分开了。 

 ​

 进行搜索测试

搜索所有以h开头的词条

​

 RestAPI实现自动补全

​

 请求组装+响应解析

    @Test
    void testSuggest() throws IOException {
        //1.准备request
        SearchRequest request = new SearchRequest("hotel");
        //2.准备DSl
        request.source().suggest(new SuggestBuilder().addSuggestion(
                "suggestion",
                SuggestBuilders.completionSuggestion("suggestion")
                        .prefix("h")
                        .skipDuplicates(true)
                        .size(10)
        ));
        //3.发起请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        //4.解析结果
        Suggest suggest= response.getSuggest();
        //4.1根据补全查询名称，获取补全结果
        CompletionSuggestion suggestions = suggest.getSuggestion("suggestion");
        //4.2获取options
        List<CompletionSuggestion.Entry.Option> options = suggestions.getOptions();
        //4.3遍历
        for (CompletionSuggestion.Entry.Option option : options) {
            String text = option.getText().toString();
            System.out.println(text);
        }
    }

 实现搜索框自动补全

Controller中

    @GetMapping("suggestion")
    public List<String>getSuggestion(@RequestParam("key")String prefix){
        return hotelService.getSuggestions(prefix);
    }

Service中

    @Override
    public List<String> getSuggestions(String prefix) {
        try {
            //1.准备request
            SearchRequest request = new SearchRequest("hotel");
            //2.准备DSl
            request.source().suggest(new SuggestBuilder().addSuggestion(
                    "suggestion",
                    SuggestBuilders.completionSuggestion("suggestion")
                            .prefix(prefix)
                            .skipDuplicates(true)
                            .size(10)
            ));
            //3.发起请求
            SearchResponse response = client.search(request, RequestOptions.DEFAULT);
            //4.解析结果
            Suggest suggest= response.getSuggest();
            //4.1根据补全查询名称，获取补全结果
            CompletionSuggestion suggestions = suggest.getSuggestion("suggestion");
            //4.2获取options
            List<CompletionSuggestion.Entry.Option> options = suggestions.getOptions();
            //4.3遍历
            List<String>list=new ArrayList<>(options.size());
            for (CompletionSuggestion.Entry.Option option : options) {
                String text = option.getText().toString();
                list.add(text);
            }
            return list;
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }

效果演示

成功根据提示进行查询

 

北岭山脚鼠鼠
关注
专栏目录
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换) 包含demo
10-15
在实际应用中，用户输入的检索词往往可能存在拼写错误、不完整或者使用了同义词等情况，为了提高用户体验和搜索准确性，Elasticsearch 提供了多种功能来支持检索词的自动补全、自动纠错、拼音补全以及繁简转换。...
ES自动补全-拼音分词器
PaoShan的博客
02-01 1062
从理论到示例
es如何使用拼音分词器
weixin_45815520的博客
03-14 768
"search_analyzer": "ik_smart"： 搜索时使用的分词器，如果不设置会使用“analyzer”设置的分词 器，都没设置则使用默认分词器。"analyzer": "i_analyzer"： 使用自定义分词器，如果未设置会使用默认分词器。注意在创建索引时使用拼音分词器，而在搜索时使用其他分词器，避免在搜索时发生同音不同字的搜索结果。filter 分词后的处理 用拼音分词处理。在创建索引库时，在settings中设置三部分。把下载到的拼音分词器放到es的配置目录下。
【ES】ES 拼音 PINYIN 分词器
qq_45130645的博客
01-11 955
这样在我们的电脑里就会发现下载好的elasticsearch-analysis-pinyin源码。在进行编译之前，我们必须修改一下我们的版本号以便和我们的Elasticsearch的版本号是一致的。答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。由于elasticsearch-analysis-pinyin目前没有可以下载的可以安装的发布文件，我们必须自己下载源码，并编译。Elastic的Medcl提供了一种搜索Pinyin搜索的方法。
Elasticsearch生产实战（ik分词器、拼音分词、自动补全、自动纠错）
qq_45443475的博客
10-14 3496
Elasticsearch生产实战（ik分词器、拼音分词、搜索联想、自动纠错）
【ES】ES 拼音 Pinyin 分词器
九师兄
10-06 7435
1.概述 转载：https://www.cnblogs.com/sanduzxcvbnm/p/12083606.html Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下.
js实现前面自动补全位数的方法
10-17
JavaScript作为前端开发中不可或缺的一环，提供了多种方式来实现数字前面自动补足0的功能，从而保证数字总是以特定的位数显示。下面，我将详细解释这些方法，包括它们的原理、优缺点以及适用场景。 ### 方法一：...
JSP + ajax实现输入框自动补全功能 实例代码
10-27
根据标题“JSP + ajax实现输入框自动补全功能 实例代码”和描述“给别人说ajax技术时，如果觉得说不明白总会这样解释：看到百度首页了吗？你打上一个字，输入框下面会出来相关的一些选项，那就是ajax技术。其实web上...
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。...自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
js自动补全
04-13
实现js自动补全的方法有多种，例如： 1. **基于语法分析**：编辑器内置的语法解析器会解析代码，根据ES规范生成抽象语法树（AST），并据此提供补全建议。 2. **基于类型推断**：如TypeScript这样的静态类型语言可以...
Elasticsearch拼音分词器的安装、配置与测试实践
最新发布
一起coding，一起嗨。
08-14 902
Elasticsearch拼音分词器的安装、配置与测试实践
ES（二）| 安装ES、Kibana、IK分词器、拼音分词器（自动补全）
慌途L
08-23 2007
ES（二）| 安装ES、Kibana、IK分词器、拼音分词器（自动补全）
在elasticsearch使用拼音分词器实现在输入框的联想
qq_56533553的博客
03-10 534
es中拼音分词器的使用
ElasticSearch - 基于 拼音分词器 和 IK分词器 模拟实现“百度”搜索框自动补全功能
CYK_byte的博客
09-27 2261
百度、搜狗、淘宝搜索框自动补全如何实现？从 0 到 1 逐层解析实现！
ElasticSearch入门：ES分词器与自定义分词器
热门推荐
qq_37426635的博客
05-12 1万+
ES入门：ES分词器与查询相关分词器的简单介绍不同分词器的效果对比自定义分词器的应用 分词器的简单介绍 分词器是es中的一个组件，通俗意义上理解，就是将一段文本按照一定的逻辑，分析成多个词语，同时对这些词语进行常规化的一种工具；ES会将text格式的字段按照分词器进行分词，并编排成倒排索引，正是因为如此，es的查询才如此之快； es本身就内置有多种分词器，他们的特性与作用梳理如下： 分词器 作用 Standard ES默认分词器，按单词分类并进行小写处理 Simple 按照非字母切分，然
es自定义拼音分词器处理中文拼音排序问题
jifgnie的博客
05-29 571
todo。
Elasticsearch自定义分词器
黑马程序员官方博客
09-08 2458
分词器的基础上的拼音，比如： 长隆大马戏可以分词出马戏， 那么就应该有对应的拼音， maxi。默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分 词器做个性化定制，形成自定义分词器。拼音分词器对我们每一个汉字都解析出对应的中文，但是这个并不是我们所需要的结果，我们需要的结 果基于ik。声明自定义分词器的语法如下： 自定义分词器是属于某一个索引库的，并不是全局的。要实现拼音分词检索，就必须对文档按照拼音分词。之前对文本进行处理。，然后经过过滤器，过滤器是拼音分词 器，
ES全文检索支持IK分词和拼音检索
后端开发
04-29 4668
介绍了在 Elasticsearch 中实现全文检索支持拼音和繁简检索的步骤。首先，介绍了如何引入 pinyin 插件和 ik 分词器插件，包括编译和安装的过程。然后，讲解了建立索引的步骤，包括设置文件和字段映射文件的配置。接着，提供了测试检索的方法和结果展示，包括中文简体、繁体查询以及拼音全拼和简拼查询。最后，还介绍了繁简转换功能的配置。整篇文档详细说明了每个步骤的操作，为实现全文检索功能提供了指导。
每日学习Redis——拿捏Redis中的通用指令（键和数据库通用指令）_m_redis-&gt；del(keyresult)； m_redis-&gt；del(keytask)
2401_84170623的博客
04-29 586
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！pics/618545628)**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、
Elasticsearch 实现 自动补全功能
12-21
要实现Elasticsearch的自动补全功能，可以使用拼音分词器和自定义分词器。首先，需要安装拼音分词插件，可以在GitHub上找到elasticsearch的拼音分词插件，并按照以下步骤进行安装： 1. 解压插件文件。 2. 将插件文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值