Elasticsearch汉字补全和拼写纠错

已于 2023-10-31 00:00:33 修改
阅读量4.6k 收藏 30
点赞数 7
分类专栏： elasticsearch 文章标签： elasticsearch 搜索引擎 大数据
于 2022-01-18 21:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZGL_cyy/article/details/122560532
版权

目录

在这里插入图片描述

想学习架构师构建流程请跳转：Java架构师系统架构设计

1 使用ES实现的效果

汉字补全
在这里插入图片描述
拼写纠错
在这里插入图片描述

2 产品搜索与自动补全

在这里插入图片描述
Term suggester ：词条建议器。对给输入的文本进进行分词，为每个分词提供词项建议
Phrase suggester ：短语建议器，在term的基础上，会考量多个term之间的关系
Completion Suggester，它主要针对的应用场景就是"Auto Completion"
Context Suggester：上下文建议器

GET product_completion_index/_search
{
"from": 0,
"size": 100,
"suggest": {
 "czbk-suggest": {
  "prefix": "小米",
  "completion": {
   "field": "searchkey",
   "size": 20,
   "skip_duplicates": true
  }
 }
}
}

2.1 汉字补全OpenAPI

2.1.1 定义自动补全接口

GET product_completion_index/_search
{
"from": 0,
"size": 100,
"suggest": {
 "czbk-suggest": {
  "prefix": "小米",
  "completion": {
   "field": "searchkey",
   "size": 20,
   "skip_duplicates": true
  }
 }
}
}

package com.oldlu.service;
import com.oldlu.commons.pojo.CommonEntity;
import org.elasticsearch.action.DocWriteResponse;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.rest.RestStatus;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.suggest.completion.CompletionSuggestion;
import java.util.List;
import java.util.Map;
/**
* @Class: ElasticsearchDocumentService
* @Package com.oldlu.service
* @Description: 文档操作接口
* @Company: http://www.oldlu.com/
*/
public interface ElasticsearchDocumentService {
  //自动补全(完成建议)
  public List<String> cSuggest(CommonEntity commonEntity) throws Exception;
}

2.1.2 定义自动补全实现

/*
  * @Description: 自动补全 根据用户的输入联想到可能的词或者短语
  * @Method: suggester
  * @Param: [commonEntity]
  * @Update:
  * @since: 1.0.0
  * @Return: org.elasticsearch.action.search.SearchResponse
  *
  */
  public List<String> cSuggest(CommonEntity commonEntity) throws Exception {
    //定义返回
    List<String> suggestList = new ArrayList<>();
    //构建查询请求
    SearchRequest searchRequest = new
SearchRequest(commonEntity.getIndexName());
    //通过查询构建器定义评分排序
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.sort(new ScoreSortBuilder().order(SortOrder.DESC));
    //构造搜索建议语句,搜索条件字段
    CompletionSuggestionBuilder completionSuggestionBuilder =new
CompletionSuggestionBuilder(commonEntity.getSuggestFileld());
    //搜索关键字
    completionSuggestionBuilder.prefix(commonEntity.getSuggestValue());
    //去除重复
    completionSuggestionBuilder.skipDuplicates(true);
    //匹配数量
    completionSuggestionBuilder.size(commonEntity.getSuggestCount());
    searchSourceBuilder.suggest(new SuggestBuilder().addSuggestion("czbk-
suggest", completionSuggestionBuilder));
    //czbk-suggest为返回的字段，所有返回将在czbk-suggest里面，可写死,sort按照评分排
序
    searchRequest.source(searchSourceBuilder);
    //定义查找响应
    SearchResponse suggestResponse = client.search(searchRequest,
RequestOptions.DEFAULT);
    //定义完成建议对象
    CompletionSuggestion completionSuggestion =
suggestResponse.getSuggest().getSuggestion("czbk-suggest");
    List<CompletionSuggestion.Entry.Option> optionsList =
completionSuggestion.getEntries().get(0).getOptions();
    //从optionsList取出结果
    if (!CollectionUtils.isEmpty(optionsList)) {
      optionsList.forEach(item ->
suggestList.add(item.getText().toString()));
   }
    return suggestList;
 }

2.1.3 定义自动补全控制器

/*
  * @Description 自动补全
  * @Method: suggester
  * @Param: [commonEntity]
  * @Update:
  * @since: 1.0.0
  * @Return: com.oldlu.commons.result.ResponseData
  *
  */
  @GetMapping(value = "/csuggest")
  public ResponseData cSuggest(@RequestBody CommonEntity commonEntity) {
    // 构造返回数据
    ResponseData rData = new ResponseData();
    if (StringUtils.isEmpty(commonEntity.getIndexName()) ||
StringUtils.isEmpty(commonEntity.getSuggestFileld()) ||
StringUtils.isEmpty(commonEntity.getSuggestValue())) {
      rData.setResultEnum(ResultEnum.PARAM_ISNULL);
      return rData;
   }
    //批量查询返回结果
    List<String> result = null;
    try {
      //通过高阶API调用批量新增操作方法
      result = elasticsearchDocumentService.cSuggest(commonEntity);
      //通过类型推断自动装箱（多个参数取交集）
      rData.setResultEnum(result, ResultEnum.SUCCESS, result.size());
      //日志记录
      logger.info(TipsEnum.CSUGGEST_GET_DOC_SUCCESS.getMessage());
   } catch (Exception e) {
      //日志记录
      logger.error(TipsEnum.CSUGGEST_GET_DOC_FAIL.getMessage(), e);
      //构建错误返回信息
      rData.setResultEnum(ResultEnum.ERROR);
   }
    return rData;
 }

2.1.4 自动补全调用验证

http://localhost:8888/v1/docs/csuggest

参数

{
 "indexName": "product_completion_index",
 "suggestFileld": "searchkey",
 "suggestValue": "小米",
 "suggestCount": 13
}

indexName索引名称
suggestFileld：自动补全查找列
suggestValue：自动补全输入的关键字
suggestCount：自动补全返回个数（京东是13个）

返回

{
 "code": "200",
 "desc": "操作成功！",
 "data": [
   "小米10",
   "小米10Pro",
   "小米8",
   "小米9",
   "小米充电宝",
   "小米手机",
   "小米摄像头",
   "小米电视",
   "小米电饭煲",
   "小米笔记本",
   "小米耳环",
   "小米路由器"
 ],
 "count": 12
}

tips： 自动补全自动去重

2.2 拼音补全OpenAPI

使用拼音访问【小米】

http://localhost:8888/v1/docs/csuggest

全拼访问
{
 "indexName": "product_completion_index",
 "suggestFileld": "searchkey",
 "suggestValue": "xiaomi",
  "suggestCount": 13
}
全拼访问(分隔)
{
 "indexName": "product_completion_index",
 "suggestFileld": "searchkey",
 "suggestValue": "xiao mi",
  "suggestCount": 13
}
首字母访问
{
 "indexName": "product_completion_index",
 "suggestFileld": "searchkey",
 "suggestValue": "xm",
  "suggestCount": 13
}

2.2.1 下载拼插件

wget https://github.com/medcl/elasticsearch-analysis-
pinyin/releases/download/v7.4.0/elasticsearch-analysis-pinyin-7.4.0.zip
或者
https://github.com/medcl/elasticsearch-analysis-pinyin/releases/tag/v7.4.0
在这里插入图片描述
当我们创建索引时可以自定义分词器，通过指定映射去匹配自定义分词器

{
 "indexName": "product_completion_index",
 "map": {
   "settings": {
     "number_of_shards": 1,
     "number_of_replicas": 2,
     "analysis": {
       "analyzer": {
"ik_pinyin_analyzer": {
           "type": "custom",
           "tokenizer": "ik_smart",
           "filter": "pinyin_filter"
         }
       },
       "filter": {
         "pinyin_filter": {
           "type": "pinyin",
           "keep_first_letter": true,
           "keep_separate_first_letter": false,
           "keep_full_pinyin": true,
           "keep_original": true,
           "limit_first_letter_length": 16,
           "lowercase": true,
           "remove_duplicated_term": true
         }
       }
     }
   },
   "mapping": {
     "properties": {
       "name": {
         "type": "text"
       },
       "searchkey": {
         "type": "completion",
         "analyzer": "ik_pinyin_analyzer"
       }
     }
   }
 }
}

调用【新增文档开发API】接口进行新增数据

开始拼音补全
在这里插入图片描述
在这里插入图片描述

3 什么是语言处理（拼写纠错）

场景描述

例如：错误输入"【adidaas官方旗舰店】 ”能够纠错为【adidas官方旗舰店】

在这里插入图片描述

3.1 语言处理OpenAPI

GET product_completion_index/_search
{
"suggest": {
 "czbk-suggestion": {
  "text": "adidaas官方旗舰店",
  "phrase": {
   "field": "name",
   "size": 13
  }
 }
}
}

返回
在这里插入图片描述

3.1.1 定义拼写纠错接口

//拼写纠错
 public String pSuggest(CommonEntity commonEntity) throws Exception;

3.1.2 定义拼写纠错实现

/*
  * @Description: 拼写纠错
  * @Method: psuggest
  * @Param: [commonEntity]
  * @Update:
  * @since: 1.0.0
  * @Return: java.util.List<java.lang.String>
  *
  */
  @Override
  public String pSuggest(CommonEntity commonEntity) throws Exception {
    //定义返回
    String pSuggestString = new String();
    //定义查询请求
SearchRequest searchRequest = new
SearchRequest(commonEntity.getIndexName());
    //定义查询条件构建器
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    //定义排序器
    searchSourceBuilder.sort(new ScoreSortBuilder().order(SortOrder.DESC));
    //构造短语建议器对象（参数为匹配列）
    PhraseSuggestionBuilder pSuggestionBuilder = new
PhraseSuggestionBuilder(commonEntity.getSuggestFileld());
    //搜索关键字（被纠错的值）
    pSuggestionBuilder.text(commonEntity.getSuggestValue());
    //匹配数量
    pSuggestionBuilder.size(1);
    searchSourceBuilder.suggest(new SuggestBuilder().addSuggestion("czbk-
suggest", pSuggestionBuilder));
    searchRequest.source(searchSourceBuilder);
    //定义查找响应
    SearchResponse suggestResponse = client.search(searchRequest,
RequestOptions.DEFAULT);
    //定义短语建议对象
    PhraseSuggestion phraseSuggestion =
suggestResponse.getSuggest().getSuggestion("czbk-suggest");
    //获取返回数据
    List<PhraseSuggestion.Entry.Option> optionsList =
phraseSuggestion.getEntries().get(0).getOptions();
    //从optionsList取出结果
    if (!CollectionUtils.isEmpty(optionsList)
&&optionsList.get(0).getText()!=null) {
      pSuggestString = optionsList.get(0).getText().string().replaceAll("
","");
   }
    return pSuggestString;
 }

3.1.3 定义拼写纠错控制器

/*
  * @Description: 拼写纠错
  * @Method: suggester2
  * @Param: [commonEntity]
  * @Update:
  * @since: 1.0.0
  * @Return: com.oldlu.commons.result.ResponseData
  *
  */
 @GetMapping(value = "/psuggest")
 public ResponseData pSuggest(@RequestBody CommonEntity commonEntity) {
   // 构造返回数据
   ResponseData rData = new ResponseData();
   if (StringUtils.isEmpty(commonEntity.getIndexName()) ||
StringUtils.isEmpty(commonEntity.getSuggestFileld()) ||
StringUtils.isEmpty(commonEntity.getSuggestValue())) {
     rData.setResultEnum(ResultEnum.PARAM_ISNULL);
     return rData;
}
   //批量查询返回结果
   String result = null;
   try {
     //通过高阶API调用批量新增操作方法
     result = elasticsearchDocumentService.pSuggest(commonEntity);
     //通过类型推断自动装箱（多个参数取交集）
     rData.setResultEnum(result, ResultEnum.SUCCESS, null);
     //日志记录
     logger.info(TipsEnum.PSUGGEST_GET_DOC_SUCCESS.getMessage());
   } catch (Exception e) {
     //日志记录
     logger.error(TipsEnum.PSUGGEST_GET_DOC_FAIL.getMessage(), e);
     //构建错误返回信息
     rData.setResultEnum(ResultEnum.ERROR);
   }
   return rData;
 }

3.1.4 语言处理调用验证

http://localhost:8888/v1/docs/psuggest

参数

{
 "indexName": "product_completion_index",
 "suggestFileld": "name",
 "suggestValue": "adidaas官方旗舰店"
}

indexName索引名称
suggestFileld：自动补全查找列
suggestValue：自动补全输入的关键字
返回

{
 "code": "200",
 "desc": "操作成功！",
 "data": "adidas官方旗舰店"
}

4 总结

  1. 需要一个搜索词库/语料库，不要和业务索引库在一起，方便维护和升级语料库
  2. 根据分词及其他搜索条件去语料库中查询若干条（京东13条、淘宝（天猫）10条、百度4条）记录
    返回
  3. 为了提升准确率，通常都是前缀搜索
赵广陆
关注
  • 7
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
elasticsearch-6.8.3-API文档-中文版.zip
07-13
赠送jar包：elasticsearch-6.8.3.jar； 赠送原API文档：elasticsearch-6.8.3-javadoc.jar； 赠送源代码：elasticsearch-6.8.3-sources.jar； 赠送Maven依赖信息文件：elasticsearch-6.8.3.pom； 包含翻译后的API文档：elasticsearch-6.8.3-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.elasticsearch:elasticsearch:6.8.3； 标签：elasticsearch、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
中文拼写纠错_58搜索拼写纠错
weixin_31861065的博客
12-30 501
在搜索引擎中，用户希望得到和输入查询词相关的并且质量较好的网页或文档。但是往往出于各种原因，用户输入的查询词本身质量不高或是错误的，如果搜索引擎不对这种错误进行修正弥补，会导致召回错误的结果，或者结果数少甚至没有结果。拼写纠错，主要应用于58集团内部主站搜索中，可以对用户输入的房产，招聘，黄页，二手车等类别搜索质量不佳的查询词进行纠错改写，以能返回更好的搜索结果。拼写纠错能够挽回错误输入...
探索无限智能：`analysis-pinyin` - 汉字拼音分析利器
最新发布
gitblog_00088的博客
04-18 384
探索无限智能：analysis-pinyin - 汉字拼音分析利器 项目地址:https://gitcode.com/infinilabs/analysis-pinyin 在编程和自然语言处理领域，汉字与拼音之间的转换是一项基础但至关重要的任务。今天，我们向您推荐一个强大的开源项目——analysis-pinyin，它为开发者提供了高效、精准的汉字到拼音的转换功能。 项目简介 analysis-p...
ElasticSearch速学 - ElasticSearch中的搜索建议、自动纠错
u011250186的博客
08-15 735
ElasticSearch速学 - ElasticSearch中的搜索建议、自动纠错
【Elasticsearch】相关性，近义词匹配，纠错匹配
东方鲤鱼 博客
06-21 2186
【Elasticsearch】相关性，近义词匹配，纠错匹配
Elasticsearch生产实战（ik分词器、拼音分词、自动补全、自动纠错）
qq_45443475的博客
10-14 2923
Elasticsearch生产实战（ik分词器、拼音分词、搜索联想、自动纠错）
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换) 包含demo
10-15
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换)
ElasticSearch纠错和自动补全
lai0yuan的博客
01-29 1577
ElasticSearch纠错和自动补全 建立映射 PUT /suggest { "mappings": { "properties": { "suggest": { "type": "completion" } } } } 先建立一个mapping,注意类型"type": "completion" 添加一些数据 POST /suggest/_doc { "suggest":"数据" } POST /suggest/_doc {
Elasticsearch Suggester详解:Google搜索框的补全/纠错功能
ice-wee的专栏
05-04 1773
现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容: 如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当...
elasticsearch拼写纠错之Term Suggester
无风听海
01-16 1787
一、什么是拼写纠错 拼写纠错就是搜索引擎可以智能的感知用户输入关键字的错误，并使用纠正过的关键字进行搜索展示给用户；拼写纠错是一种改善用户体验的功能； elasticsearch提供了以下不同类型的suggester来完成拼写纠错和自动完成功能； term suggester主要针对单个的term分词进行纠正的场景； phrase suggester主要针对整个短语的拼写纠正场景； completion suggester主要提供一种快速高效的自动提示功能； 二、Term Suggester基于单个词的拼写
ElasticSearch 进行拼写纠错
m0_67392811的博客
04-18 467
代码 GET so_blog/_search { "suggest": { "text" : "jeva null point exception", "simple_phrase" : { "phrase" : { "field" : "title", "size" : 3, "direct_generator" : [ { "field" : "title",
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
elasticsearch-6.3.0-API文档-中文版.zip
06-25
标签：elasticsearch、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
elasticsearch-6.2.3-API文档-中文版.zip
07-12
标签：elasticsearch、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
Elasticsearch汉字补全和智能纠错使用详解
yonggeit的博客
02-13 740
1. 需要一个搜索词库/语料库，不要和业务索引库在一起，方便维护和升级语料库 2. 根据分词及其他搜索条件去语料库中查询若干条（京东13条、淘宝（天猫）10条、百度4条）记录 返回 3. 为了提升准确率，通常都是前缀搜索
elasticsearch[五]：深入探索ES搜索引擎的自动补全与拼写纠错：如何实现高效智能的搜索体验
丨汀、的博客
01-17 1863
elasticsearch[五]：深入探索ES搜索引擎的自动补全与拼写纠错：如何实现高效智能的搜索体验
es 自动补全 和 纠错 （有问题，需要大家帮忙实现）
fyj的博客
08-02 3441
// 英文有 自动补全 纠错功能 实现 // 中文 只有 自动补全 ，没有纠错功能 {   "settings": {     "index": {       "analysis": {         "analyzer": {           "ik_pinyin_analyzer": {             "type": "custom",          
拼写纠错（Spelling Correct）技术方案总结
Lmoermo的博客
09-03 1687
1 纠错基础知识 1.1 常见错误类型 1.2 纠错组成模块 2 深度学习技术 2.1 FASPell（爱奇艺） 2.1.1 技术方案 2.1.1.1 背景 2.1.1.2 模型结构 2.1.1.3 训练过程 2.1.2 优点和缺点 2.2 SpellGCN （阿里） 2.2.1 技术方案 2.2.1.1 背景 2.2.1.2 模型结构 2.2.1.3 训练过程 2.2
elasticsearch 自动补全
04-03
Elasticsearch是一个开源的分布式搜索和分析引擎，它提供了全文搜索、自动补全、聚合分析等功能。自动补全是Elasticsearch中的一个重要功能，它可以根据用户的输入，实时地提供相关的建议和补全选项。 在Elasticsearch中实现自动补全功能，通常使用的是“Completion Suggester”（补全建议器）这个特殊类型。Completion Suggester可以用于实时地提供搜索建议，它可以基于已有的文本数据进行建议，并且支持多种不同的建议类型。 要使用Completion Suggester，首先需要在索引中定义一个字段，并将其类型设置为"completion"。然后，将待补全的文本数据添加到该字段中。当用户输入查询时，可以使用Suggest API来获取自动补全的建议结果。 以下是实现Elasticsearch自动补全的一般步骤： 1. 创建索引并定义一个字段类型为"completion"。 2. 将待补全的文本数据添加到该字段中。 3. 使用Suggest API来获取自动补全的建议结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值