Elasticsearch Suggesters API详解与联想词自动补全应用

于 2024-08-29 14:11:08 发布
阅读量580 收藏 6
点赞数 23
分类专栏： # Elasticsearch进阶 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29864051/article/details/141677428
版权

Elasticsearch Suggesters API详解与联想词自动补全应用

引言

在现代搜索引擎的应用场景中，自动补全和拼写检查已成为提升用户搜索体验的重要功能Elasticsearch 作为一款广泛使用的分布式搜索引擎，提供了丰富的 Suggesters API，可以帮助开发者实现精确的自动补全和拼写纠错功能本文将深入探讨 Elasticsearch 中的四种核心 Suggester——Term Suggester、Phrase Suggester、Completion Suggester 和 Context Suggester，并通过实际示例展示如何在不同场景下使用这些工具来优化用户的搜索体验

Elasticsearch Suggesters

参考官网：[Suggesters | Elasticsearch Guide 7.17] | Elastic

1. Term Suggester

Term Suggester 主要用于单个词的拼写纠错它通过编辑距离算法，在用户输入的词不存在于索引中时，提供一系列可能的正确拼写Term Suggester 不仅可以返回建议词，还可以显示每个建议词的得分和词频

实现步骤

  • 创建索引并插入数据：确保索引中存在需要搜索的字段
  • 发送 Suggest 请求：在 Elasticsearch 的 _search 端点发送一个包含 suggest 字段的请求

示例

POST /zhoutest/_search
{
  "suggest": {
    "my_suggestion": {
      "text": "hots vlna",
      "term": {
        "field": "content"
      }
    }
  }
}

在这个例子中，用户输入了错误的短语 hots vlna，Term Suggester 会建议正确的拼写，比如 hot 或 volna

2. Phrase Suggester

Phrase Suggester 在 Term Suggester 的基础上更进一步，它可以处理整个短语的拼写纠错Phrase Suggester 考虑了多个词之间的关系，如它们是否同时出现在索引中，以及它们之间的词频和相邻程度

示例

POST /zhoutest/_search
{
  "suggest": {
    "my_suggestion": {
      "text": "lucne and elasticsearch rock",
      "phrase": {
        "field": "body",
        "highlight": {
          "pre_tag": "<em>",
          "post_tag": "</em>"
        }
      }
    }
  }
}

在这个例子中，Phrase Suggester 会识别 lucne 可能是拼写错误，建议改为 lucene，并对其进行高亮显示

3. Completion Suggester

Completion Suggester 专用于快速的前缀搜索和自动补全它通过将分词后的数据编码成 FST（Finite State Transducer）并存储在内存中，以实现极快的查询速度Completion Suggester 非常适用于需要即时反馈的场景，如搜索框的自动补全功能

创建映射和插入数据

首先，需要定义字段类型为 completion 的映射：

PUT localhost:9200/zhoutest/test/_mapping
{
  "test": {
    "properties": {
      "name_suggest": {
        "type": "completion",
        "analyzer": "simple",
        "search_analyzer": "simple",
        "payloads": true
      }
    }
  }
}

接着插入数据：

PUT 'localhost:9200/zhoutest/test/1?refresh=true'
{
  "name": "xdy",
  "name_suggest": {
    "input": ["xdy", "hdu"]
  }
}

查询示例

POST 'localhost:9200/zhoutest/_suggest?pretty'
{
  "index-suggest": {
    "text": "b",
    "completion": {
      "field": "name_suggest"
    }
  }
}

当用户输入 b 时，Completion Suggester 会返回以 b 开头的建议词，如 banana 或 bicycle

4. Context Suggester

Context Suggester 允许基于上下文（如类别或地理位置）提供更精确的建议它能够提高搜索建议的准确性和相关性，适合需要根据用户输入环境来调整建议结果的场景

示例

假设有一个应用程序需要基于用户的地理位置提供建议，可以这样配置 Context Suggester：

PUT /zhoutest
{
  "mappings": {
    "properties": {
      "suggest": {
        "type": "completion",
        "contexts": [
          { "name": "location", "type": "geo" }
        ]
      }
    }
  }
}

然后可以插入数据并执行查询，基于用户的地理位置提供更精确的推荐

Completion Suggester

Completion Suggester 是 Elasticsearch 中的一种专用于实现前缀搜索和自动补全功能的 Suggester它通过将数据编码为 FST（有限状态转换器），并将其存储在内存中，从而提供极快的查询速度，非常适用于需要即时反馈的场景，如搜索框的自动补全功能

image-20240829134914853

1. 工作原理

Completion Suggester 的核心是 FST，它是一种压缩的有限状态机，能够快速地匹配前缀并生成补全建议FST 具备以下特性：

  • 前缀匹配：通过编码词汇表中的所有前缀，FST 能够迅速找到与用户输入匹配的前缀并返回相应的候选项
  • 压缩存储：FST 在存储时会自动去除重复前缀，从而显著降低内存占用
  • 即时查询：由于 FST 是内存中操作的，查询速度非常快，能够实时提供搜索建议

2. 使用流程

2.1 创建索引与映射

在使用 Completion Suggester 之前，需要为数据创建索引，并在索引的映射中定义字段类型为 completion可以选择设置 analyzer 和 search_analyzer 来控制数据如何被分析

示例：

PUT /zhoutest
{
  "mappings": {
    "properties": {
      "name_suggest": {
        "type": "completion"
      }
    }
  }
}

2.2 插入数据

定义好索引映射后，可以向索引中插入数据需要确保将希望进行补全建议的字段作为 input 提供给 completion 类型字段

示例：

PUT /zhoutest/_doc/1
{
  "name": "Elasticsearch",
  "name_suggest": {
    "input": ["Elasticsearch", "Elastic"]
  }
}

PUT /zhoutest/_doc/2
{
  "name": "Elastic Stack",
  "name_suggest": {
    "input": ["Elastic Stack", "ELK Stack"]
  }
}

在以上示例中，我们为每个文档提供了多个输入选项，用于在用户输入时提供不同的补全建议

2.3 查询建议

插入数据后，可以使用 Completion Suggester 进行查询查询请求会根据用户输入的文本前缀，返回匹配的建议

示例：

POST /zhoutest/_search
{
  "suggest": {
    "name_suggestion": {
      "prefix": "Elas",              // 用户输入的前缀
      "completion": {
        "field": "name_suggest",     // 指定补全字段
        "size": 5,                   // 返回的建议数量
        "fuzzy": {                   // 启用模糊搜索，允许拼写错误
          "fuzziness": 2
        }
      }
    }
  }
}

在这个示例中，用户输入了前缀 Elas，Completion Suggester 会返回与该前缀匹配的词汇，如 Elasticsearch 或 Elastic Stack

2.4 响应结果

查询结果会返回与输入前缀匹配的建议列表，每个建议包含了补全的文本以及其他元数据（如得分、频率等）

示例：

{
  "suggest": {
    "name_suggestion": [
      {
        "text": "Elas",
        "offset": 0,
        "length": 4,
        "options": [
          {
            "text": "Elasticsearch",
            "score": 1.0
          },
          {
            "text": "Elastic Stack",
            "score": 1.0
          }
        ]
      }
    ]
  }
}

3. 使用建议和优化

  • 字段优化：在定义 completion 类型字段时，合理选择分析器和映射配置，可以优化查询的性能和结果质量
  • 模糊匹配：如果需要容忍拼写错误，可以启用 fuzzy 配置，允许模糊匹配提升用户使用
  • 内存使用：由于 FST 存储在内存中，建议在高并发或大规模数据场景下，合理配置内存，以确保系统的稳定性

4. 单节点使用优化

如果在单节点数据量较大并且设置的补全字段较多的时候，可能会导致下列报错：

[ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [test_node1] fatal error in thread [elasticsearch[test_node1][management][T#1]], exiting
java.lang.OutOfMemoryError: Java heap space
        at org.apache.lucene.util.fst.OnHeapFSTStore.init(OnHeapFSTStore.java:59) ~[lucene-core-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:53:36]
        at org.apache.lucene.util.fst.FST.<init>(FST.java:461) ~[lucene-core-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:53:36]
        at org.apache.lucene.util.fst.FST.<init>(FST.java:412) ~[lucene-core-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:53:36]
        at org.apache.lucene.search.suggest.document.NRTSuggester.load(NRTSuggester.java:332) ~[lucene-suggest-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:54:46]
        at org.apache.lucene.search.suggest.document.CompletionsTermsReader.suggester(CompletionsTermsReader.java:70) ~[lucene-suggest-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:54:46]
        at org.apache.lucene.search.suggest.document.CompletionTerms.suggester(CompletionTerms.java:71) ~[lucene-suggest-8.6.2.jar:8.6.2 016993b65e393b58246d54e8ddda9f56a453eb0e - ivera - 2020-08-26 10:54:46]
        at org.elasticsearch.index.engine.CompletionStatsCache.lambda$get$0(CompletionStatsCache.java:93) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.index.engine.CompletionStatsCache$$Lambda$5243/0x00000008018102e0.get(Unknown Source) ~[?:?]
        at org.elasticsearch.action.ActionListener.completeWith(ActionListener.java:325) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.index.engine.CompletionStatsCache.get(CompletionStatsCache.java:82) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.index.engine.InternalEngine.completionStats(InternalEngine.java:323) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.index.shard.IndexShard.completionStats(IndexShard.java:1073) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.admin.indices.stats.CommonStats.<init>(CommonStats.java:207) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.admin.indices.stats.TransportIndicesStatsAction.shardOperation(TransportIndicesStatsAction.java:105) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.admin.indices.stats.TransportIndicesStatsAction.shardOperation(TransportIndicesStatsAction.java:48) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.support.broadcast.node.TransportBroadcastByNodeAction$BroadcastByNodeTransportRequestHandler.onShardOperation(TransportBroadcastByNodeAction.java:423) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.support.broadcast.node.TransportBroadcastByNodeAction$BroadcastByNodeTransportRequestHandler.messageReceived(TransportBroadcastByNodeAction.java:401) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.action.support.broadcast.node.TransportBroadcastByNodeAction$BroadcastByNodeTransportRequestHandler.messageReceived(TransportBroadcastByNodeAction.java:388) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.xpack.security.transport.SecurityServerTransportInterceptor$ProfileSecuredRequestHandler$1.doRun(SecurityServerTransportInterceptor.java:257) ~[?:?]
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.xpack.security.transport.SecurityServerTransportInterceptor$ProfileSecuredRequestHandler.messageReceived(SecurityServerTransportInterceptor.java:315) ~[?:?]
        at org.elasticsearch.transport.RequestHandlerRegistry.processMessageReceived(RequestHandlerRegistry.java:72) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.transport.TransportService$8.doRun(TransportService.java:800) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.common.util.concurrent.ThreadContext$ContextPreservingAbstractRunnable.doRun(ThreadContext.java:737) ~[elasticsearch-7.9.2.jar:7.9.2]
        at org.elasticsearch.common.util.concurrent.AbstractRunnable.run(AbstractRunnable.java:37) ~[elasticsearch-7.9.2.jar:7.9.2]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1130) ~[?:?]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:630) ~[?:?]
        at java.lang.Thread.run(Thread.java:832) [?:?]
fatal error in thread [elasticsearch[test_node1][management][T#1]], exiting
java.lang.OutOfMemoryError: Java heap space
        at org.apache.lucene.util.fst.OnHeapFSTStore.init(OnHeapFSTStore.java:59)
        at org.apache.lucene.util.fst.FST.<init>(FST.java:461)

解决方案：

  1. 增加 JVM 堆内存：

    • 可以尝试增加 Elasticsearch JVM 的堆内存大小默认情况下，JVM 堆内存的最大值可能较小，可以通过调整 jvm.options 文件中的 -Xmx 和 -Xms 参数来增加堆内存具体的堆内存大小需要根据硬件配置和数据规模来设置，最大修改为：

      -Xms31g
-Xmx31g

  2. 使用es集群配置

    改为使用集群，增加集群数据节点，同时合理划分分片数量，确保数据分片有足够的节点进行分布，可以减轻每个节点的内存负担

    分片配置：

    • 分片数量：减少每个索引的主分片数量，同时增加副本分片，以便分布在多个节点上这样可以降低每个节点的内存负担对于大索引，分片的大小通常建议在10GB到50GB之间
    • 分片分配：确保分片均匀分布在集群的所有节点上，以避免单个节点过载

    内存设置：

    • JVM堆内存：对于每个节点，JVM堆内存的大小应设置为服务器物理内存的50%左右，但不超过32GB（推荐设置在-Xms和-Xmx之间相同的值）
    • 操作系统级别的内存管理：可以配置vm.max_map_count参数，以增加可映射文件数增大file descriptors限制以支持更多的文件句柄

    FST内存占用：

    • 减少自动补全字段：由于FST（有限状态转换器）数据结构用于实现自动补全功能，它的内存占用可能很大建议减少自动补全字段的数量或分割这些字段
    • FST外置存储：考虑将FST存储在磁盘上，而不是堆内存中这可以通过适当的索引设置来实现，例如通过调整index.codec为best_compression
徐州蔡徐坤
关注
  • 23
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Elasticsearch实现检索词自动补全(检索词补全，自动纠错，拼音补全，繁简转换) 包含demo
10-15
在实际应用中，用户输入的检索词往往可能存在拼写错误、不完整或者使用了同义词等情况，为了提高用户体验和搜索准确性，Elasticsearch 提供了多种功能来支持检索词的自动补全、自动纠错、拼音补全以及繁简转换。...
ElasticSearch Java API 中文文档
01-04
标签《ES Java API 中文文档》强调了文档的内容属性，它属于ElasticSearch的一个重要组成部分，即用Java语言进行数据交互和操作的应用程序接口部分。 从部分内容中可以提取出以下知识点： 1. **Transport Client**...
Elasticsearch 建议（Suggesters）：实现自动补全和拼写检查
Dxy1239310216的博客
07-09 828
Term Suggester 主要用于单个词的拼写纠错。它通过编辑距离算法，在用户输入的词不存在于索引中时，提供一系列可能的正确拼写。Term Suggester 不仅可以返回建议词，还可以显示每个建议词的得分和词频。
ES系列、Elasticsearch Suggester API(自动补全）
悟能的师兄的专栏
08-20 1044
针对自动补全场景而设计的建议器。此场景下用户每输入一个字符的时候，就需要即时发送一次查询请求到后端查找匹配项，在用户输入速度较高的情况下对后端响应速度要求比较苛刻。因此实现上它和前面两个Suggester采用了不同的数据结构，索引并非通过倒排来完成，而是将analyze过的数据编码成FST和索引一起存放。对于一个open状态的索引，FST会被ES整个装载到内存里的，进行前缀查找速度极快。但是FST只能用于前缀查找，这也是Completion Suggester的局限所在。示例1：查询建议根据前缀查询。
Elasticsearch自动补全功能实践与Java API应用
一起coding，一起嗨。
08-14 326
Elasticsearch自动补全功能实践与Java API应用
Elasticsearch Suggester详解（自动补全）
热门推荐
东境物语
06-06 1万+
现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容:如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当输入到一定长度，如果因为单...
ElasticSearch自动补全
weixin_53676834的博客
04-28 1237
1、 如果只是单独使用拼音分词器，是没办法满足具体业务使用场景的，这时候就需要自定义分词器:2、通过自定义分词器，将ik分词器与拼音分词器整合起来，来保证我们的搜索既满足汉字也满足拼音"text":"我爱螺蛳粉",这个错误表明 Elasticsearch 在使用全局分析器pinyin时遇到了问题，因为它无法找到这个全局分析器。可能是由于缺少配置或插件问题导致的。你需要确保已正确配置了pinyin分析器，并且相关的插件已经正确安装和配置：./是指当前目录的简写。在Linux和类Unix系统中，
搜索自动补全-elasticsearch实现
qq_30166465的博客
05-23 708
github地址：https://github.com/infinilabs/analysis-pinyin/releases?page=6 必须与elasticsearch的版本相同 第四步，重启es 1.2 定义索引库 1.3 给索引库添加文档 详情参考我的另一篇博客: xxljob分片广播+多线程实现高效定时同步elasticsearch索引库 app_info_article对应的pojo类 核心代码 在xxl-job任务调度平台执行一次该任务，文档就被添加进去了 如图 示例1. 示例2. A
ElasticSearch构建分词与自动补全功能
m0_73414953的博客
05-19 340
standard analyzer是ElasticSearch自带的分词器，可以看出该分词器对大小写不敏感，你输入大写最后也会被转换成小写。我们举一个很常见的例子：当我们在百度中输入字符时，会有一个下拉列表来给出用户提示，这个功能就是自动补全。1. 目前我们只能通过原生API的方式赖进行分词功能的实现，过程比较繁琐，但编写方式统一。实现自动补全功能，该功能同分词一样，使用的是原生API的方式，过程较繁琐，但比较统一。在发送分词请求的时候会抛出一个异常，这里选择lombok下的。接下来就是分词功能的实现了。
Elasticsearch 自动补全
做Java整整10年，目前是教别人写代码，嘿嘿
12-23 1124
什么是自动补全 随用户输入，给与提示信息，如下图： ES实现原理 ⽤户每输⼊⼀个 字符，就需要即时发送⼀个查询请求到后段查找匹配项。 对性能要求⽐较苛刻。Elasticsearch 采⽤FST，FST 会被 ES 整个加载进内存， 速度很快。 实现方式： Completion Suggester 实现 定义 Mapping，使⽤ “completion” type 索引数据 运⾏ “suggest” 查询，得到搜索建议。 例子 1.定义 Mapping，使⽤ “completion”
RestAPI实现自动补全 & 案例实现（搜索框输入进行自动补全）
QRLYLETITBE的博客
07-14 413
RestAPI实现自动补全 & 案例实现（搜索框输入进行自动补全）
Elasticsearch自动补全(拼音查询自动补全)
我要记录学习博客
06-05 1088
要实现根据字母做补全，就必须对文档按照拼音分词。在GitHub上恰好有elasticsearch的拼音分词插件。地址：https://github.com/medcl/elasticsearch-analysis-pinyin安装方式与IK分词器一样，分三步：​ ①解压​ ②上传到虚拟机中，elasticsearch的plugin目录​ ③重启elasticsearch​ ④测试 拼音分词结果 2、自定义分词器 默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。...自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
Java 结合elasticsearch-ik分词器，实现评论的违规词汇脱敏等操作
Rui_bbm的博客
08-28 168
然后可以直接在业务代码中使用工具类即可，注意入参是String，这里我的判断条件是大于0就是存在违规词汇，进行相关操作即可。我直接给相关核心代码封装成了工具类，上半部分代码是用于做分词的，会返回一个集合，这个集合里面存放的都是根据入参分出来的词。下半部分是根据分出来的词做一个检索操作，根据es的索引，检索与集合中词汇对应的敏感词。这个依赖是我使用的，可以结合自己的情况自己选择适用版本的相关依赖。话不多说，直接上后台代码。
【搜索引擎】ElasticSearch 8.x版本
为技术发烧而生
08-28 561
来了新特性课程升级2 ElasticSearch 安装 & 使用安装2.1.1下载软件2.1.2软件升级安装使用2.2.1下载软件2.2.2安装软件2.2.3问题解决2.3 Kibana安装使用2.3.1下载软件2.3.2安装软件2.3.3应用软件。
git
chirrupy_hamal的博客
08-26 397
轻松搞懂 git
Git 协同开发详解：从基础命令到多人协作
weixin_52392194的博客
08-24 830
在多人协作开发中，通常的流程为：每个开发者从主分支拉取代码 -> 创建自己的功能分支 -> 在功能分支上开发 -> 提交与推送 -> 提交合并请求 -> 解决冲突 -> 合并到主分支。提交、推送与拉取操作是 Git 远程协作中最常见的操作，通过这些命令，用户可以实现本地与远程的代码同步，确保团队成员之间的代码保持一致。多人协作中，冲突是难免的，但 Git 提供了丰富的工具帮助开发者解决冲突，从而顺利合并代码。合并操作是分支管理中的重要环节，可以将不同分支上的修改合并到一起，实现最终的代码集成。
【ES实战】Elasticsearch中Task的简单管理说明
最新发布
coding and writing
08-28 641
Elasticsearch中Task的简单管理说明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

徐州蔡徐坤

又要到饭了兄弟们

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值