使用阿里云试用Elasticsearch学习：2.5 深入搜索——部分匹配

最新推荐文章于 2024-11-08 17:59:16 发布
最新推荐文章于 2024-11-08 17:59:16 发布
阅读量966 收藏 28
点赞数 23
分类专栏： # 使用阿里云试用Elasticsearch学习 文章标签： elasticsearch 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49131823/article/details/137415394
版权

敏锐的读者会注意，目前为止本书介绍的所有查询都是针对整个词的操作。为了能匹配，只能查找倒排索引中存在的词，最小的单元为单个词。

但如果想匹配部分而不是全部的词该怎么办？ 部分匹配 允许用户指定查找词的一部分并找出所有包含这部分片段的词。

与想象的不太一样，对词进行部分匹配的需求在全文搜索引擎领域并不常见，但是如果读者有 SQL 方面的背景，可能会在某个时候实现一个 低效的全文搜索 用下面的 SQL 语句对全文进行搜索：

    WHERE text LIKE "%quick%"
      AND text LIKE "%brown%"
      AND text LIKE "%fox%"
  • fox 会与 “fox” 和 “foxes” 匹配。

当然， Elasticsearch 提供分析过程，倒排索引让我们不需要使用这种粗笨的技术。为了能应对同时匹配 “fox” 和 “foxes” 的情况，只需简单的将它们的词干作为索引形式，没有必要做部分匹配。

也就是说，在某些情况下部分匹配会比较有用，常见的应用如下：

匹配邮编、产品序列号或其他 not_analyzed 未分析值，这些值可以是以某个特定前缀开始，也可以是与某种模式匹配的，甚至可以是与某个正则式相匹配的。
输入即搜索（search-as-you-type） ——在用户键入搜索词过程的同时就呈现最可能的结果。
匹配如德语或荷兰语这样有长组合词的语言，如： Weltgesundheitsorganisation （世界卫生组织，英文 World Health Organization）。

邮编与结构化数据

我们会使用美国目前使用的邮编形式（United Kingdom postcodes 标准）来说明如何用部分匹配查询结构化数据。这种邮编形式有很好的结构定义。例如，邮编 W1V 3DG 可以分解成如下形式：

  • W1V ：这是邮编的外部，它定义了邮件的区域和行政区：
    • W 代表区域（ 1 或 2 个字母）
    • 1V 代表行政区（ 1 或 2 个数字，可能跟着一个字符）
  • 3DG ：内部定义了街道或建筑：
    • 3 代表街区区块（ 1 个数字）
    • DG 代表单元（ 2 个字母）

假设将邮编作为 keword 的精确值字段索引，所以可以为其创建索引，如下：

PUT /my_index
{
  "mappings": {
    "properties": {
      "postcode": {
        "type": "keyword"
      }
    }
  }
}

然后索引一些邮编：

PUT /my_index/_doc/1
{ "postcode": "W1V 3DG" }

PUT /my_index/_doc/2
{ "postcode": "W2F 8HW" }

PUT /my_index/_doc/3
{ "postcode": "W1F 7HW" }

PUT /my_index/_doc/4
{ "postcode": "WC1N 1LZ" }

PUT /my_index/_doc/5
{ "postcode": "SW5 0BE" }

现在这些数据已可查询。

prefix 前缀查询

为了找到所有以 W1 开始的邮编，可以使用简单的 prefix 查询：

GET /my_index/_search
{
    "query": {
        "prefix": {
            "postcode": "W1"
        }
    }
}

prefix 查询是一个词级别的底层的查询，它不会在搜索之前分析查询字符串，它假定传入前缀就正是要查找的前缀。

默认状态下， prefix 查询不做相关度评分计算，它只是将所有匹配的文档返回，并为每条结果赋予评分值 1 。它的行为更像是过滤器而不是查询。 prefix 查询和 prefix 过滤器这两者实际的区别就是过滤器是可以被缓存的，而查询不行。

之前已经提过：“只能在倒排索引中找到存在的词”，但我们并没有对这些邮编的索引进行特殊处理，每个邮编还是以它们精确值的方式存在于每个文档的索引中，那么 prefix 查询是如何工作的呢？

回想倒排索引包含了一个有序的唯一词列表（本例是邮编）。对于每个词，倒排索引都会将包含词的文档 ID 列入 倒排表（postings list） 。与示例对应的倒排索引是：

Term:          Doc IDs:
-------------------------
"SW5 0BE"    |  5
"W1F 7HW"    |  3
"W1V 3DG"    |  1
"W2F 8HW"    |  2
"WC1N 1LZ"   |  4
-------------------------

为了支持前缀匹配，查询会做以下事情：

  1. 扫描词列表并查找到第一个以 W1 开始的词。
  2. 搜集关联的文档 ID 。
  3. 移动到下一个词。
  4. 如果这个词也是以 W1 开头，查询跳回到第二步再重复执行，直到下一个词不以 W1 为止。

这对于小的例子当然可以正常工作，但是如果倒排索引中有数以百万的邮编都是以 W1 开头时，前缀查询则需要访问每个词然后计算结果！

前缀越短所需访问的词越多。如果我们要以 W 作为前缀而不是 W1 ，那么就可能需要做千万次的匹配。

prefix 查询或过滤对于一些特定的匹配是有效的，但使用方式还是应当注意。当字段中词的集合很小时，可以放心使用，但是它的伸缩性并不好，会对我们的集群带来很多压力。可以使用较长的前缀来限制这种影响，减少需要访问的量。

本章后面会介绍另一个索引时的解决方案，这个方案能使前缀匹配更高效，不过在此之前，需要先看看两个相关的查询： wildcard 和 regexp （模糊和正则）。

通配符与正则表达式查询

与 prefix 前缀查询的特性类似， wildcard 通配符查询也是一种底层基于词的查询，与前缀查询不同的是它允许指定匹配的正则式。它使用标准的 shell 通配符查询： ? 匹配任意字符， * 匹配 0 或多个字符。

这个查询会匹配包含 W1F 7HW 和 W2F 8HW 的文档：

GET /my_index/_search
{
    "query": {
        "wildcard": {
            "postcode": "W?F*HW" 
        }
    }
}
  • ? 匹配 1 和 2 ， * 与空格及 7 和 8 匹配。

设想如果现在只想匹配 W 区域的所有邮编，前缀匹配也会包括以 WC 开头的所有邮编，与通配符匹配碰到的问题类似，如果想匹配只以 W 开始并跟随一个数字的所有邮编， regexp 正则式查询允许写出这样更复杂的模式：

GET /my_index/_search
{
    "query": {
        "regexp": {
            "postcode": "W[0-9].+" 
        }
    }
}
  • 这个正则表达式要求词必须以 W 开头，紧跟 0 至 9 之间的任何一个数字，然后接一或多个其他字符。

wildcard 和 regexp 查询的工作方式与 prefix 查询完全一样，它们也需要扫描倒排索引中的词列表才能找到所有匹配的词，然后依次获取每个词相关的文档 ID ，与 prefix 查询的唯一不同是：它们能支持更为复杂的匹配模式。

这也意味着需要同样注意前缀查询存在性能问题，对有很多唯一词的字段执行这些查询可能会消耗非常多的资源，所以要避免使用左通配这样的模式匹配（如： *foo 或 .*foo 这样的正则式）。

数据在索引时的预处理有助于提高前缀匹配的效率，而通配符和正则表达式查询只能在查询时完成，尽管这些查询有其应用场景，但使用仍需谨慎。

prefix 、 wildcard 和 regexp 查询是基于词操作的，如果用它们来查询 analyzed 字段，它们会检查字段里面的每个词，而不是将字段作为整体来处理。

比方说包含 “Quick brown fox” （快速的棕色狐狸）的 title 字段会生成词： quick 、 brown 和 fox 。

会匹配以下这个查询：

{ "regexp": { "title": "br.*" }}

但是不会匹配以下两个查询：

{ "regexp": { "title": "Qu.*" }} 
{ "regexp": { "title": "quick br*" }}
  • 在索引里的词是 quick 而不是 Quick 。
  • quick 和 brown 在词表中是分开的。

查询时输入即搜索

把邮编的事情先放一边，让我们先看看前缀查询是如何在全文查询中起作用的。用户已经渐渐习惯在输完查询内容之前，就能为他们展现搜索结果，这就是所谓的 即时搜索（instant search） 或 输入即搜索（search-as-you-type） 。不仅用户能在更短的时间内得到搜索结果，我们也能引导用户搜索索引中真实存在的结果。

例如，如果用户输入 johnnie walker bl ，我们希望在它们完成输入搜索条件前就能得到：Johnnie Walker Black Label 和 Johnnie Walker Blue Label 。

生活总是这样，就像猫的花色远不只一种！我们希望能找到一种最简单的实现方式。并不需要对数据做任何准备，在查询时就能对任意的全文字段实现 输入即搜索（search-as-you-type） 的查询。

在 短语匹配 中，我们引入了 match_phrase 短语匹配查询，它匹配相对顺序一致的所有指定词语，对于查询时的输入即搜索，可以使用 match_phrase 的一种特殊形式， match_phrase_prefix 查询：

{
    "match_phrase_prefix" : {
        "brand" : "johnnie walker bl"
    }
}

这种查询的行为与 match_phrase 查询一致，不同的是它将查询字符串的最后一个词作为前缀使用，换句话说，可以将之前的例子看成如下这样：

  • johnnie
  • 跟着 walker
  • 跟着以 bl 开始的词

如果通过 validate-query API 运行这个查询查询，explanation 的解释结果为：

“johnnie walker bl*”
与 match_phrase 一样，它也可以接受 slop 参数（参照 slop ）让相对词序位置不那么严格：

{
    "match_phrase_prefix" : {
        "brand" : {
            "query": "walker johnnie bl", 
            "slop":  10
        }
    }
}

尽管词语的顺序不正确，查询仍然能匹配，因为我们为它设置了足够高的 slop 值使匹配时的词序有更大的灵活性。
但是只有查询字符串的最后一个词才能当作前缀使用。

在之前的 前缀查询 中，我们警告过使用前缀的风险，即 prefix 查询存在严重的资源消耗问题，短语查询的这种方式也同样如此。前缀 a 可能会匹配成千上万的词，这不仅会消耗很多系统资源，而且结果的用处也不大。

可以通过设置 max_expansions 参数来限制前缀扩展的影响，一个合理的值是可能是 50 ：

{
    "match_phrase_prefix" : {
        "brand" : {
            "query":          "johnnie walker bl",
            "max_expansions": 50
        }
    }
}

参数 max_expansions 控制着可以与前缀匹配的词的数量，它会先查找第一个与前缀 bl 匹配的词，然后依次查找搜集与之匹配的词（按字母顺序），直到没有更多可匹配的词或当数量超过 max_expansions 时结束。

不要忘记，当用户每多输入一个字符时，这个查询又会执行一遍，所以查询需要快，如果第一个结果集不是用户想要的，他们会继续输入直到能搜出满意的结果为止。

索引时优化

到目前为止，所有谈论过的解决方案都是在 查询时（query time） 实现的。这样做并不需要特殊的映射或特殊的索引模式，只是简单使用已经索引的数据。

查询时的灵活性通常会以牺牲搜索性能为代价，有时候将这些消耗从查询过程中转移到别的地方是有意义的。在实时 web 应用中， 100 毫秒可能是一个难以忍受的巨大延迟。

可以通过在索引时处理数据提高搜索的灵活性以及提升系统性能。为此仍然需要付出应有的代价：增加的索引空间与变慢的索引能力，但这与每次查询都需要付出代价不同，索引时的代价只用付出一次。

用户会感谢我们。

Ngrams 在部分匹配的应用

之前提到：“只能在倒排索引中找到存在的词。” 尽管 prefix 、 wildcard 、 regexp 查询告诉我们这种说法并不完全正确，但单个词的查找 确实 要比在词列表中盲目挨个查找的效率要高得多。在搜索之前准备好供部分匹配的数据可以提高搜索的性能。

在索引时准备数据意味着要选择合适的分析链，这里部分匹配使用的工具是 n-gram 。可以将 n-gram 看成一个在词语上 滑动窗口 ， n 代表这个 “窗口” 的长度。如果我们要 n-gram quick 这个词 —— 它的结果取决于 n 的选择长度：

长度 1（unigram）： [ q, u, i, c, k ]
长度 2（bigram）： [ qu, ui, ic, ck ]
长度 3（trigram）： [ qui, uic, ick ]
长度 4（four-gram）： [ quic, uick ]
长度 5（five-gram）： [ quick ]

朴素的 n-gram 对 词语内部的匹配 非常有用，即在 Ngram 匹配复合词 介绍的那样。但对于输入即搜索（search-as-you-type）这种应用场景，我们会使用一种特殊的 n-gram 称为 边界 n-grams （edge n-grams）。所谓的边界 n-gram 是说它会固定词语开始的一边，以单词 quick 为例，它的边界 n-gram 的结果为：

q
qu
qui
quic
quick

可能会注意到这与用户在搜索时输入 “quick” 的字母次序是一致的，换句话说，这种方式正好满足即时搜索（instant search）！

索引时输入即搜索

设置索引时输入即搜索的第一步是需要定义好分析链，我们已在 配置分析器 中讨论过，这里会对这些步骤再次说明。

准备索引

第一步需要配置一个自定义的 edge_ngram token 过滤器，称为 autocomplete_filter ：

{
    "filter": {
        "autocomplete_filter": {
            "type":     "edge_ngram",
            "min_gram": 1,
            "max_gram": 20
        }
    }
}

这个配置的意思是：对于这个 token 过滤器接收的任意词项，过滤器会为之生成一个最小固定值为 1 ，最大为 20 的 n-gram 。

然后会在一个自定义分析器 autocomplete 中使用上面这个 token 过滤器：

{
    "analyzer": {
        "autocomplete": {
            "type":      "custom",
            "tokenizer": "standard",
            "filter": [
                "lowercase",
                "autocomplete_filter" 
            ]
        }
    }
}

自定义的 edge-ngram token 过滤器。

这个分析器使用 standard 分词器将字符串拆分为独立的词，并且将它们都变成小写形式，然后为每个词生成一个边界 n-gram，这要感谢 autocomplete_filter 起的作用。

创建索引、实例化 token 过滤器和分析器的完整示例如下：

PUT /my_index
{
  "settings": {
    "number_of_shards": 1,
    "analysis": {
      "filter": {
        "autocomplete_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 20
        }
      },
      "analyzer": {
        "autocomplete": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "autocomplete_filter"
          ]
        }
      }
    }
  }
}
  • 首先自定义 token 过滤器。
  • 然后在分析器中使用它。

可以拿 analyze API 测试这个新的分析器确保它行为正确：

GET /my_index/_analyze
{
  "analyzer": "autocomplete",
  "text": "quick brown"
}

结果表明分析器能正确工作，并返回以下词：

q
qu
qui
quic
quick
b
br
bro
brow
brown

{
  "tokens": [
    {
      "token": "q",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "qu",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "qui",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "quic",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "quick",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "b",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "br",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "bro",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "brow",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "brown",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}

可以用 update-mapping API 将这个分析器应用到具体字段：

PUT /my_index/_mapping
{
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "autocomplete"
    }
  }
}

现在创建一些测试文档：

POST /my_index/_bulk
{"index":{"_id":1}}
{"name":"Brown foxes"}
{"index":{"_id":2}}
{"name":"Yellow furballs"}

查询字段

如果使用简单 match 查询测试查询 “brown fo” ：

GET /my_index/_search
{
    "query": {
        "match": {
            "name": "brown fo"
        }
    }
}

可以看到两个文档同时 都能 匹配，尽管 Yellow furballs 这个文档并不包含 brown 和 fo ：

"hits": [
      {
        "_index": "my_index",
        "_id": "1",
        "_score": 1.7264473,
        "_source": {
          "name": "Brown foxes"
        }
      },
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 0.2766258,
        "_source": {
          "name": "Yellow furballs"
        }
      }
    ]

如往常一样， validate-query API 总能提供一些线索：

GET /my_index/_validate/query?explain=true
{
    "query": {
        "match": {
            "name": "brown fo"
        }
    }
}

explanation 表明查询会查找边界 n-grams 里的每个词：

name:b name:br name:bro name:brow name:brown name:f name:fo
name:f 条件可以满足第二个文档，因为 furballs 是以 f 、 fu 、 fur 形式索引的。回过头看这并不令人惊讶，相同的 autocomplete 分析器同时被应用于索引时和搜索时，这在大多数情况下是正确的，只有在少数场景下才需要改变这种行为。

我们需要保证倒排索引表中包含边界 n-grams 的每个词，但是我们只想匹配用户输入的完整词组（ brown 和 fo ），可以通过在索引时使用 autocomplete 分析器，并在搜索时使用 standard 标准分析器来实现这种想法，只要改变查询使用的搜索分析器 analyzer 参数即可：

GET /my_index/_search
{
  "query": {
    "match": {
      "name": {
        "query": "brown fo",
        "analyzer": "standard"
      }
    }
  }
}
  • 覆盖了 name 字段 analyzer 的设置。

换种方式，我们可以在映射中，为 name 字段分别指定 index_analyzer 和 search_analyzer 。因为我们只想改变 search_analyzer ，这里只要更新现有的映射而不用对数据重新创建索引：

PUT /my_index/_mapping
{
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "autocomplete",
      "search_analyzer": "standard"
    }
  }
}
  • 在索引时，使用 autocomplete 分析器生成边界 n-grams 的每个词。
  • 在搜索时，使用 standard 分析器只搜索用户输入的词。

如果再次请求 validate-query API ，当前的解释为：

name:brown name:fo
再次执行查询就能正确返回 Brown foxes 这个文档。

因为大多数工作是在索引时完成的，所有的查询只要查找 brown 和 fo 这两个词，这比使用 match_phrase_prefix 查找所有以 fo 开始的词的方式要高效许多。

补全提示（Completion Suggester）

使用边界 n-grams 进行输入即搜索（search-as-you-type）的查询设置简单、灵活且快速，但有时候它并不够快，特别是当试图立刻获得反馈时，延迟的问题就会凸显，很多时候不搜索才是最快的搜索方式。

Elasticsearch 里的 completion suggester 采用与上面完全不同的方式，需要为搜索条件生成一个所有可能完成的词列表，然后将它们置入一个 有限状态机（finite state transducer） 内，这是个经优化的图结构。为了搜索建议提示，Elasticsearch 从图的开始处顺着匹配路径一个字符一个字符地进行匹配，一旦它处于用户输入的末尾，Elasticsearch 就会查找所有可能结束的当前路径，然后生成一个建议列表。

本数据结构存于内存中，能使前缀查找非常快，比任何一种基于词的查询都要快很多，这对名字或品牌的自动补全非常适用，因为这些词通常是以普通顺序组织的：用 “Johnny Rotten” 而不是 “Rotten Johnny” 。

当词序不是那么容易被预见时，边界 n-grams 比完成建议者（Completion Suggester）更合适。即使说不是所有猫都是一个花色，那这只猫的花色也是相当特殊的。

边界 n-grams 与邮编

边界 n-gram 的方式可以用来查询结构化的数据，比如 本章之前示例 中的邮编（postcode）。当然 postcode 字段需要 analyzed 而不是 not_analyzed ，不过可以用 keyword 分词器来处理它，就好像他们是 not_analyzed 的一样。

keyword 分词器是一个非操作型分词器，这个分词器不做任何事情，它接收的任何字符串都会被原样发出，因此它可以用来处理 not_analyzed 的字段值，但这也需要其他的一些分析转换，如将字母转换成小写。

下面示例使用 keyword 分词器将邮编转换成 token 流，这样就能使用边界 n-gram token 过滤器：

PUT /my_index
{
  "settings": {
    "number_of_shards": 1,
    "analysis": {
      "filter": {
        "postcode_filter": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 8
        }
      },
      "analyzer": {
        "postcode_index": {
          "tokenizer": "keyword",
          "filter": [
            "postcode_filter"
          ]
        },
        "postcode_search": {
          "tokenizer": "keyword"
        }
      }
    }
  }
}
  • postcode_index 分析器使用 postcode_filter 将邮编转换成边界 n-gram 形式。
  • postcode_search 分析器可以将搜索词看成 not_analyzed 未分析的。

Ngrams 在复合词的应用

最后，来看看 n-gram 是如何应用于搜索复合词的语言中的。德语的特点是它可以将许多小词组合成一个庞大的复合词以表达它准确或复杂的意义。例如：
Aussprachewörterbuch
发音字典（Pronunciation dictionary）
Militärgeschichte
战争史（Military history）
Weißkopfseeadler
秃鹰（White-headed sea eagle, or bald eagle）
Weltgesundheitsorganisation
世界卫生组织（World Health Organization）
Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz
法案考虑代理监管牛和牛肉的标记的职责（The law concerning the delegation of duties for the supervision of cattle marking and the labeling of beef）

有些人希望在搜索 “Wörterbuch”（字典）的时候，能在结果中看到 “Aussprachewörtebuch”（发音字典）。同样，搜索 “Adler”（鹰）的时候，能将 “Weißkopfseeadler”（秃鹰）包括在结果中。

处理这种语言的一种方式可以用 组合词 token 过滤器（compound word token filter） 将复合词拆分成各自部分，但这种方式的结果质量依赖于组合词字典的质量。

另一种方式就是将所有的词用 n-gram 进行处理，然后搜索任何匹配的片段——能匹配的片段越多，文档的相关度越大。

假设某个 n-gram 是一个词上的滑动窗口，那么任何长度的 n-gram 都可以遍历这个词。我们既希望选择足够长的值让拆分的词项具有意义，又不至于因为太长而生成过多的唯一词。一个长度为 3 的 trigram 可能是一个不错的开始：

PUT /my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "trigrams_filter": {
          "type": "ngram",
          "min_gram": 3,
          "max_gram": 3
        }
      },
      "analyzer": {
        "trigrams": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "trigrams_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "text": {
        "type": "text",
        "analyzer": "trigrams"
      }
    }
  }
}
  • text 字段用 trigrams 分析器索引它的内容，这里 n-gram 的长度是 3 。

使用 analyze API 测试 trigram 分析器：

GET /my_index/_analyze
{
  "analyzer": "trigrams",
  "text": "Weißkopfseeadler"
}

返回以下词项：

wei, eiß, ißk, ßko, kop, opf, pfs, fse, see, eea,ead, adl, dle, ler

索引前述示例中的复合词来测试：

POST /my_index/_bulk
{"index":{"_id":1}}
{"text":"Aussprachewörterbuch"}
{"index":{"_id":2}}
{"text":"Militärgeschichte"}
{"index":{"_id":3}}
{"text":"Weißkopfseeadler"}
{"index":{"_id":4}}
{"text":"Weltgesundheitsorganisation"}
{"index":{"_id":5}}
{"text":"Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz"}

“Adler”（鹰）的搜索转化为查询三个词 adl 、 dle 和 ler ：

GET /my_index/_search
{
  "query": {
    "match": {
      "text": "Adler"
    }
  }
}

正好与 “Weißkopfsee-adler” 相匹配：

"hits": [
      {
        "_index": "my_index",
        "_id": "3",
        "_score": 2.74445,
        "_source": {
          "text": "Weißkopfseeadler"
        }
      }
    ]

类似查询 “Gesundheit”（健康）可以与 “Welt-gesundheit-sorganisation” 匹配，同时也能与 “Militär-ges-chichte” 和 “Rindfleischetikettierungsüberwachungsaufgabenübertragungs-ges-etz” 匹配，因为它们同时都有 trigram 生成的 ges ：

使用合适的 minimum_should_match 可以将这些奇怪的结果排除，只有当 trigram 最少匹配数满足要求时，文档才能被认为是匹配的：

GET /my_index/_search
{
  "query": {
    "match": {
      "text": {
        "query": "Gesundheit",
        "minimum_should_match": "80%"
      }
    }
  }
}

这有点像全文搜索中霰弹枪式的策略，可能会导致倒排索引内容变多，尽管如此，在索引具有很多复合词的语言，或词之间没有空格的语言（如：泰语）时，它仍不失为一种通用且有效的方法。

这种技术可以用来提升 召回率 ——搜索结果中相关的文档数。它通常会与其他技术一起使用，例如 shingles（参见 shingles 瓦片词 ），以提高精度和每个文档的相关度评分。

范欣德
关注
专栏目录
开发工具篇第七讲：阿里云日志查询与分析
Jet_qi的博客
08-09 5450
公司使用的是阿里云日志服务。
【阿里云】阿里云日志查询语法
m0_46537958的博客
06-10 6345
阿里云日志查询语法入门
ElasticSearch - 输入即搜索 edge n-gram
kucw的博客
08-19 3251
在此之前，ES所有的查询都是针对整个词进行操作，也就是说倒排索引存了hello这个词，一定得输入hello才能找到这个词，输入 h 或是 he 都找不到倒排索引中的hello 然而在现实情况下，用户已经渐渐习惯在输入完查询内容之前，就能为他们展现搜索结果，这就是所谓的即时搜索(instant search)，或是可以称为 输入即搜索(search-as-you-type) ...
阿里云日志服务—logtail正则表达
weixin_48201571的博客
06-24 1477
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^\d{n}$ 3 至少n位的数字：^\d{n,}$ 4 m-n位的数字：^\d{m,n}$ 5 零和非零开头的数字：^(0|[1-9][0-9]*)$ 6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$ 7 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$ 8 正数、负数、和小数：^(\-|\+)?\d+(\.\d+)?$ 9 有两位小数的正实数：^[0-9
搜索框输入即时提示
夏尔的小酒馆
12-27 2929
对于web用户而言，在搜索或者填写一些输入框的时候如果能有相应的 输入提示或者即时的候选项，将会感到十分的省心。 当需要查询的数据量很大的时候，尽可能的减少网络请求次数对前端和后端都是必要的，这篇文章即是对即时搜索做的一些优化。废话不多说，直接贴我的代码。 即时搜索小优化 window.onload = function() { var o
使用阿里云试用Elasticsearch学习：4. 聚合——1
weixin_49131823的博客
04-10 876
"aggs": {"terms": {},"aggs": {},"make" : {},"aggs" : {我们需要增加另外一个嵌套的 aggs 层级。然后包括 min 最小度量。以及 max 最大度量。},"make": {},},},},min 和 max 度量现在出现在每个汽车制造商（ make ）下面。有四辆红色车。红色车的平均售价是 $32500 美元。其中三辆红色车是 Honda 本田制造，一辆是 BMW 宝马制造。
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告)
数据简化DataSimp社区
08-16 9291
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告) 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读：Google搜索量最大的DB-Engines数据库排名，介绍前几名数据库特点、云AI区块链等数据库服务；展望2018年数据库发展趋势，本文合计40k字详读约需36分钟。最近群里说国内可以重新使用谷歌搜索、谷歌学术...
【阿里云日志】查询指南
m0_46537958的博客
12-11 5934
阿里云日志存储查询一、基本简介二、查询简介 一、基本简介 阿里云日志的作用？日志服务（Log Service，简称SLS）是针对日志类数据的一站式服务，无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立DT时代海量日志处理能力。 如上就是简答的日志如何采集的描述，本片文章主要介绍如何查询日志，所以基础功能就不过多的赘述。 我们有了海量的日志，呢么我们该怎么去分析查询这些日志呢？ 日志服务提供大规模日志的实时查询与分析能力。接下来我们就从简至繁简介一下如何查询并且分析你
input输入search查找关键词时，实现（即时搜索）边输入边输出目标内容的例子代码
热门推荐
高彩琼的博客
05-18 2万+
先充电： （1）change事件 触发事件必须满足两个条件： a）当前对象属性改变，并且是由键盘或鼠标事件激发的（脚本触发无效） b）当前对象失去焦点(onblur) （2）keypress 恩，还好。。。。。就是能监听键盘事件，鼠标复制黏贴操作他就无能为力了。 （3）propertychange（ie）和input事件 ...
elasticsearch-match_phrase_prefix实现查询时输入即搜索
豆豆不在了
02-27 9843
查询时输入即搜索 把邮编的事情先放一边，让我们先看看前缀查询是如何在全文查询中起作用的。用户已经渐渐习惯在输完查询内容之前，就能为他们展现搜索结果，这就是所谓的 即时搜索（instant search） 或 输入即搜索（search-as-you-type） 。不仅用户能在更短的时间内得到搜索结果，我们也能引导用户搜索索引中真实存在的结果。 例如，如果用户输入 johnnie wa
掌握ElasticSearch（八）：聚集、文档间的关系
TracyCoder的博客
11-05 859
在这个示例中，interestsname和type。},在这个示例中，question和answer。question是父文档类型，answer是子文档类型。
使用 HuggingFace 提供的 Elasticsearch 托管交叉编码器进行重新排名
Elastic 中国社区官方博客
11-05 948
它是什么为什么要使用它如何创建推理 API 并将其连接到外部服务如何使用检索器查询进行重新排名什么是语义重新排名以及如何使用它？了解在搜索和 RAG 管道中使用语义重新排名的权衡使用检索器在 Elasticsearch 中进行语义重新排名本博客包含视频演示和入门所需的所有内容的概述。Elastic 文档 - 语义重新排名这个优秀的文档指南讨论了用例、编码器模型类型和 Elasticsearch 中的重新排名本博客和随附笔记本中的代码也将帮助你入门，但我们不会深入讨论是什么和为什么。
Git别名设置
CherishTaoTao的博客
11-08 304
通过设置 Git 命令的别名，可以大大提高工作效率，减少键入常用命令的时间。你可以根据自己的需求为 Git 的常用命令创建别名，并可以在全局或局部仓库级别进行配置。
ElasticSearch学习篇16_《检索技术核心20讲》进阶篇之空间检索
xiaosi的博客
11-05 1039
学习极客实践课程《检索技术核心20讲》，文档形式记录笔记。
最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门（基础篇）
许苑向上
11-05 1224
ES（Elasticsearch）是一个开源的、分布式的搜索引擎，广泛用于实时数据的存储、搜索和分析。它基于Apache Lucene构建，提供了强大的全文搜索功能。ES主要用于处理大规模的结构化、半结构化和非结构化数据，常见于日志分析、网站搜索、数据可视化等场景
gitlab项目如何修改主分支main为master，以及可能遇到的问题
最新发布
m0_61998604的博客
11-08 517
如果你希望将 Git 仓库的主分支名称从main修改为其他名称例如master
PKG_CHECK_MODULES(FUSE,fuse)
h542812556sdu的博客
11-04 392
./configure: line 13934: syntax error near unexpected token `FUSE,fuse' ./configure: line 13934: ` PKG_CHECK_MODULES(FUSE,fuse)'
Elasticsearch的数据类型
JustinMars的博客
11-08 354
Elasticsearch的数据类型
【大数据测试 Elasticsearch — 详细教程及实例】
Dreams°的博客
11-08 719
Elasticsearch 是基于 Lucene 构建的分布式搜索引擎，通常用作数据存储、索引和搜索的引擎。它支持高效的全文检索、聚合查询和多维度分析，能够处理 PB 级别的大数据量。
阿里云Elasticsearch实践：从图书馆搜索到日志分析
"该资源是赵弘扬在阿里云分享关于Elasticsearch实践的PDF文档，主要探讨了Elasticsearch在阿里云中的应用，包括其安全、弹性、云上生态等优势，以及如何解决图书馆的搜索需求和日志分析需求的案例。" 在阿里云的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值