Elasticsearch Suggester

最新推荐文章于 2024-11-12 14:05:40 发布
最新推荐文章于 2024-11-12 14:05:40 发布
阅读量1.1k 收藏 29
点赞数 21
文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/junxinsiwo/article/details/142787549
版权

概述

Elasticsearch里设计了4 种类别的 Suggester

  • Term Suggester：词条建议器。对给输入的文本进进行分词，为每个分词提供词项建议。
  • Phrase Suggester：短语建议器，在term的基础上，会考量多个term之间的关系
  • Completion Suggester：它主要针对的应用场景就是"Auto Completion"
  • Context Suggester：上下文建议器

Term Suggester

每个 token 挑选 options 里的词，组合在一起返回给用户前端即可。

blogs 索引：text 字段。

PUT /blogs/
{
  "mappings": {
    "tech": {
      "properties": {
        "body": {
          "type": "text"
        }
      }
    }
  }
}

Term suggester 查询：使用 suggest 这种特殊的查询。

suggest_mode：

  • missing： 只有词典里找不到词，才会为其提供相似的选项。
  • popular：仅提供在索引词典中出现的词语。只返回在更多的文档中出现的建议词
  • always：不管 token 是否存在于索引词典里都要给出相似项。
POST /blogs/_search
{ 
  "suggest": {
    // 自定义名称
    "my-suggestion": {
      // query 
      "text": "lucne rock",
      // 表示 term suggester
      "term": {
        // 如果 query word 足够精准，就不需要 sug 了，也就是只会 sug，word 不全匹配的。
        "suggest_mode": "missing",
        // sug 的字段
        "field": "body"
      }
    }
  }
}

两个term的相似性是如何判断的?

ES使用了一种叫做 Levenstein edit distance的算法：其核心思想就是一个词改动多少个字符就可以和另外一个词一致。与编辑距离类似。

Phrase Suggester

Phrase suggester在Term suggester的基础上，会考量多个term之间的关系，比如是否同时出现在索引的原文里，相邻程度，以及词频等等。

POST /blogs/_search
{
  "suggest": {
    "my-suggestion": {
      "text": "lucne and elasticsear rock",
      "phrase": {
        "field": "body",
        "highlight": {
          "pre_tag": "<em>",
          "post_tag": "</em>"
        }
      }
    }
  }
}

执行结果：

"suggest": {
    "my-suggestion": [
      {
        "text": "lucne and elasticsear rock",
        "offset": 0,
        "length": 26,
        "options": [
          {
            "text": "lucene and elasticsearch rock",
            "highlighted": "<em>lucene</em> and <em>elasticsearch</em> rock",
            "score": 0.004993905
          },
          {
            "text": "lucne and elasticsearch rock",
            "highlighted": "lucne and <em>elasticsearch</em> rock",
            "score": 0.0033391973
          },
          {
            "text": "lucene and elasticsear rock",
            "highlighted": "<em>lucene</em> and elasticsear rock",
            "score": 0.0029183894
          }
        ]
      }
    ]
  }

因为 lucene 和 elasticsearch 曾经在同一条原文里出现过，同时替换 2 个 term 的可信度更高，所以打分较高，排在第一位返回

Phrase suggester 有相当多的参数用于控制匹配的模糊程度。

Completion Suggester

基于内存 FST 的数据结构，只能进行前缀检索。

需要专门字段类型：completion

创建索引

PUT music
{
    "mappings": {
        "song" : {
            "properties" : {
                "suggest" : {
                    "type" : "completion"
                },
                "title" : {
                    "type": "keyword"
                }
            }
        }
    }
}

插入数据：可以指定权重。

PUT music/song/1?refresh
{
    "suggest" : {
        "input": [ "Nevermind", "Nirvana" ],
        "weight" : 34
    }
}

搜索：在检索时 Query 也会经过 analyze 阶段，也会讲 Query 中停用词剔除。

POST blogs_completion/_search?pretty
{ "size": 0,
  "suggest": {
    "blog-suggest": {
      "prefix": "elastic i",
      "completion": {
        "field": "body"
      }
    }
  }
}

值得注意的一点是 Completion Suggester 在索引原始数据的时候也要经过 analyze 阶段，取决于选用的analyzer不同，某些词可能会被 转换，某些词可能 被去除，这些会影响 FST 编码结果，也会 影响查找匹配的效果。

比如：english analyzer会剥离掉 stop word，而 is 就是其中一个，被剥离掉了！

结果：

"suggest": {
    "blog-suggest": [
      {
        "text": "elastic i",
        "offset": 0,
        "length": 9,
        "options": [
          {
            "text": "Elastic is the company behind ELK stack",
            "_index": "blogs_completion",
            "_type": "tech",
            "_id": "AVrXFyn-cpYmMpGqDdcd",
            "_score": 1,
            "_source": {
              "body": "Elastic is the company behind ELK stack"
            }
          }
        ]
      }
    ]
  }
  • skip_duplicates：是否应过滤掉重复的建议（默认为false）。

支持拼音

如果要支持拼音：

下载拼音插件：wget https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.4.0/elasticsearch-analysis-pinyin-7.4.0.zip

当我们创建索引时可以自定义分词器，通过指定映射去匹配自定义分词器

支持模糊搜索

fuzzy

POST music/_search?pretty
{
  "suggest": {
    "song-suggest": {
      "prefix": "nor",
      "completion": {
        "field": "suggest",
        "fuzzy": {
          "fuzziness": 2
        }
      }
    }
  }
}
  • fuziness 为1，表示是针对每个词语而言的，而不是总的错误的数值。

模糊性是拼写错误的简单解决方案，但具有很高的 CPU 开销和非常低的精度。

支持正则

POST music/_search?pretty
{
  "suggest": {
    "song-suggest": {
      "regex": "n[ever|i]r",
      "completion": {
        "field": "suggest"
      }
    }
  }
}

Context Suggester

completion suggester 是在索引中所有文档进行匹配，有时我们希望在一个增加过滤条件，以提高搜索的准确度。

有两种类型：category 和geo

PUT place
{
    "mappings": {
        "shops" : {
            "properties" : {
                "suggest" : {
                    "type" : "completion",
                    "contexts": [
                        { # 1
                            "name": "place_type",
                            "type": "category",
                            "path": "cat"
                        },
                        { # 2
                            "name": "location",
                            "type": "geo",
                            "precision": 4
                        }
                    ]
                }
            }
        }
    }
}

类别上下文（Category Context）

插入数据：这些 suggestions 将与 cafe 和 food 类别相关联。

PUT place/shops/1
{
    "suggest": {
        "input": ["timmy's", "starbucks", "dunkin donuts"],
        "contexts": {
            "place_type": ["cafe", "food"] ①
        }
    }
}

查询：suggestions可以按一个或多个类别进行过滤。 以下过滤了多个类别的suggestions ：

POST place/_suggest?pretty
{
    "suggest" : {
        "prefix" : "tim",
        "completion" : {
            "field" : "suggest",
            "size": 10,
            "contexts": {
                "place_type": [ "cafe", "restaurants" ]
            }
        }
    }
}

注意：当在查询时未提供类别时，将考虑所有索引文档。 应避免在类别启用完成字段上没有类别的查询，因为它会降低搜索性能。

Boost 类别提权：

对某些类别的suggestions可以比其他类别更高。 以下内容按类别过滤suggestions，并增加与某些类别相关联的suggestions：

POST place/_suggest?pretty
{
    "suggest" : {
        "prefix" : "tim",
        "completion" : {
            "field" : "suggest",
            "size": 10,
            "contexts": {
                "place_type": [ ①
                    { "context" : "cafe" },
                    { "context" : "restaurants", "boost": 2 }
                 ]
            }
        }
    }
}
  • context，要过滤/提升的类别的值，这是强制性的。
  • boost，应该提高建议分数的因素，通过将boost乘以建议权重来计算分数，默认为1。
  • prefix，是否应该将类别实为前缀，例如，如果设置为true，则可以通过指定类型的类别前缀来过滤type1，type2等类别，默认为false。

地理位置上下文

一个geo上下文允许我们将一个或多个地理位置或geohash与在索引时间的建议关联，在查询时，如果建议位于地理位置特定的距离内，则可以过滤和提升建议。

在内部，地位置被编码为具有指定精度的地理位置。

地理上下文可以利用suggestions被显式地设置或者经由路径参数从文档中的地理点字段索引，类似于类别上下文。 将多个地理位置上下文与suggestion关联，将对每个地理位置的suggestion建立索引。 以下对具有两个地理位置上下文的suggestion进行索引：

插入数据：

PUT place/shops/1
{
    "suggest": {
        "input": "timmy's",
        "contexts": {
            "location": [
                {
                    "lat": 43.6624803,
                    "lon": -79.3863353
                },
                {
                    "lat": 43.6624718,
                    "lon": -79.3873227
                }
            ]
        }
    }
}

查询

suggestions可以根据它们与一个或多个地理点的接近程度而被过滤和提升。 以下过滤suggestions落在由地理点的编码geohash表示的区域内：

POST place/_suggest
{
    "suggest" : {
        "prefix" : "tim",
        "completion" : {
            "field" : "suggest",
            "size": 10,
            "contexts": {
                "location": {
                    "lat": 43.662,
                    "lon": -79.380
                }
            }
        }
    }
}

当指定在查询时具有较低精度的位置时，将考虑落入该区域内的所有suggestions。

位于由geohash表示的区域内的suggestions也可以比其他suggestion更高，如下所示：

POST place/_suggest?pretty
{
    "suggest" : {
        "prefix" : "tim",
        "completion" : {
            "field" : "suggest",
            "size": 10,
            "contexts": {
                "location": [ ①
                    {
                        "lat": 43.6624803,
                        "lon": -79.3863353,
                        "precision": 2
                    },
                    {
                        "context": {
                            "lat": 43.6624803,
                            "lon": -79.3863353
                        },
                        "boost": 2
                    }
                 ]
            }
        }
    }
}

上下文查询过滤的suggestions落在由（43.662，-79.380）的geohash表示的地理位置（精度为2）下方的suggestions，并提升落在（43.6624803，-79.3863353）的geohash表示形式下的默认精度为6的suggestions乘以因子2。

总结

  1. 在用户刚开始输入的过程中，使用 Completion Suggester 进行关键词前缀匹配、，刚开始匹配项会比较多，随着用户输入字符增多，匹配项越来越少。如果用户输入比较精准，可能 Completion Suggester 的结果已经够好，用户已经可以看到理想的备选项了。
  2. 如果 Completion Suggester 已经到了零匹配，那么可以猜测是否用户有输入错误，这时候可以尝试一下 Phrase Suggester。
  3. 如果 Phrase Suggester没有找到任何 option，开始尝试 Term Suggester。
  4. 需要一个搜索词库/语料库，不要和业务索引库在一起，方便维护和升级语料库
  5. 支持拼音插件

精准程度上( Precision )看： Completion > Phrase > Term， 而召回率上( Recall )则反之。从性能上看，Completion Suggester是最快的，如果能满足业务需求，只用 Completion Suggester 做前缀匹配是最理想的。 Phrase 和 Term 由于是做倒排索引的搜索，相比较而言性能应该要低不少，应尽量控制 Suggester 用到的索引的数据量，最理想的状况是经过一定时间预热后，索引可以全量 map 到内存。

董一峰
关注
Elasticsearch Suggester 自动纠错 - 大数据搜索优化
CodeHeroicX的博客
08-19 191
其中一个重要的功能是 Elasticsearch Suggester（建议器），它可以帮助我们自动纠正用户输入的查询并提供相关的建议。其中，Elasticsearch Suggester（建议器）是一个重要的功能，它可以自动纠正用户输入的查询并提供相关的建议。在上述代码中，我们使用 Elasticsearch Python 客户端创建了一个名为 “my_index” 的索引，并定义了一个名为 “my_analyzer” 的分析器。我们可以通过遍历结果中的建议选项，获取纠错后的查询建议。
Elasticsearch Suggester详解:Google搜索框的补全/纠错功能
ice-wee的专栏
05-04 1859
现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容: 如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当...
Elasticsearch Suggesters API详解与联想词自动补全应用
后端开发
08-29 1257
在现代搜索引擎的应用场景中，自动补全和拼写检查已成为提升用户搜索体验的重要功能Elasticsearch 作为一款广泛使用的分布式搜索引擎，提供了丰富的 Suggesters API，可以帮助开发者实现精确的自动补全和拼写纠错功能本文将深入探讨 Elasticsearch 中的四种核心 Suggester——**Term Suggester**、**Phrase Suggester**、**Completion Suggester** 和 **Context Suggester**，并通过实际示例展示如何在
Elasticsearch Suggester详解
不见其长，日有所长
08-25 822
1. 前言 现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容： 如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当输入到一定长度，如果因为单词拼写错误无法补全，就开始尝试提示相似的词。那么类似的功能在Elasticsearch里如何实
Elasticsearch Suggester详解（自动补全）
热门推荐
东境物语
06-06 1万+
现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容:如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当输入到一定长度，如果因为单...
ElasticSearch之suggester API
wang0907的博客
02-28 682
当我们在使用搜索引擎进行的查询到时候，如果是输入错误的话，搜索引擎会给出一些搜索建议，如下：在es中也提供了类似的功能，叫做suggester API。
ElasticSearch suggester
happy19870612's blog
11-15 2868
Suggesters就是一款基于用于提供的文本给出一些相似性的东西，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度 POST twitter/_search {  "query" : {    "match": {      "message": "tring out Elasticsearch"     }
elasticsearch之Suggester
qq_18218071的博客
06-06 493
Suggester suggester是提供合适的建议。例如我们在搜索引擎中，输入我们需要查询的内容，搜索引擎根据用户输入搜索的过程中，进行自动补全或者纠错，通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。 Suggesters基本的运作原理是将输入的文本分解为token，然后在索引的字典里查找相似的term并返回。 根据使用场景的不同，Elasticsearch里设计了4种类别的Suggester，分别是: Term Suggester Phrase Suggester Comple
elasticsearch suggester
06-10
Elasticsearch suggester 是一个自动补全功能，它能够根据用户输入的前缀，返回与之匹配的建议项。这个功能可以用于搜索引擎、电商网站、社交媒体等应用中，为用户提供更加智能化的搜索体验。Elasticsearch ...
【Elasticsearch】 Elasticsearch Suggester 自动纠错 详解
九师兄
05-17 885
1.概述 原文：https://elasticsearch.cn/article/142 现代的搜索引擎，一般会具备"Suggest As You Type"功能，即在用户输入搜索的过程中，进行自动补全或者纠错。 通过协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的程度。例如在Google上输入部分关键词，甚至输入拼写错误的关键词时，它依然能够提示出用户想要输入的内容: 如果自己亲手去试一下，可以看到Google在用户刚开始输入的时候是自动补全的，而当输入到一定长度，如果因为单词拼写错误无法补.
Elasticsearch Suggester搜索建议详解
qq_28834355的博客
10-15 2068
文章目录概述Term suggester 概述 Suggester用途：根据用户提供的文本，给出可能相似的词语。类似百度搜索提示，截个图大家就清楚了 Suggester分类：Term suggester、 本篇使用的ES版本：7.7 Term suggester term suggester 先将搜索词进行分词，然后逐个与指定的索引数据进行比较，计算出编辑距离再返回建议词。 编辑距离：这里使用了叫做Levenstein edit distance的算法，核心思想就是一个词改动多少次就可以
Git - 日志
zhangguangxuan的专栏
11-12 118
记录常用的日志查询方式及格式
day12:版本控制器
weixin_62189092的博客
11-11 990
如果需要将项目托管在支持git的服务中心时，要求服务中心能24小时运行，还可以提供其他的管理(用户，项目，用户组，权限)操作。
如何优化Elasticsearch查询以提高性能？
sunsiny
11-08 933
通过实施上述策略，可以显著改善Elasticsearch的查询速度与资源利用效率。
Processing Modflow软件安装，建立地下水-地面沉降数值模型的流程与步骤（构造沉降、抽水沉降、采空沉降等）；三维地质建模数据处理
weixin_46747075的博客
11-12 538
针对地面沉数值模拟技术，结合不同行业的需求，详细讲解利用Processing Modflow软件建立地下水-地面沉降数值模型的流程与步骤，同时，选取真实案例，运用模拟技术解析铁路沿线地面沉降的预测，优选不同控降方案。有助于提升技术人员的业务能力，增加科研创新能力。
通过脚本，发起分支合并请求和打tag
最新发布
lvyongyi_2010的专栏
11-12 336
description="合并release到main"title="合并release到main"echo "请输入tag编号:"4: release分支打标签 \n\。read -p "请输入 " args。ACCESS_TOKEN="Token秘钥"echo -e "输入 \n\。# 获取分支的提交 SHA。
命令行工具进阶指南
欢迎来到我的博客，希望你能有所收获！
11-11 997
命令行工具指南
Git别名设置
CherishTaoTao的博客
11-08 659
通过设置 Git 命令的别名，可以大大提高工作效率，减少键入常用命令的时间。你可以根据自己的需求为 Git 的常用命令创建别名，并可以在全局或局部仓库级别进行配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值