ES学习记录10.1——ES分析器2(标记生成器)

最新推荐文章于 2024-01-01 19:39:43 发布
最新推荐文章于 2024-01-01 19:39:43 发布
阅读量1.4k 收藏 4
点赞数 1
分类专栏： # ES Elasticsearch
本站已迁移至：https://jacksonary.github.io
本文链接：https://blog.csdn.net/jacksonary/article/details/83902325
版权

 tokenizer(标记生成器)接受字符流，负责将它们分割为独立的标记tokens(通常是一个个独立的单词)，最后将这些tokens输出。比如空格标记生成器whitespace在分割文本时，只要遇到空格就会执行分割，比如whitespace标记生成器会将文本Quick brown fox!将分割为[Quick, brown, fox!]。标记生成器tokenizer除了分割字符流外，还负责记录每个标记（或术语，即term）的顺序和位置以及每个术语term的始、末字符在原始文本中的偏移量。ES有很多内置的标记生成器，这些标记生成器可以在自定义分析器中使用。

面向单词的标记生成器

 以下标记器通常用于将全文标记为单个单词（面向单词的标记生成器就是这个意思）：

  • Standard Tokenizer：standard标记生成器将文本以单词边界分割为术语，就是Unicode文本分割算法所定义的分割方式，它可以去除大部分的标点符号，是大部分语言最好的选择；
  • Letter Tokenizer：letter标记生成器只要遇到非字母字符就会将文本分割为术语；
  • Lowercase Tokenizer：lowercase标记生成器和letter标记生成器一样，会在遇到非字母字符将文本分割为术语，但它还会将术语全部转成小写；
  • Whitespace Tokenizer：whitespace标记生成器只要遇到空格字符就会将文本分割为术语；
  • UAX URL Email Tokenizer：uax_url_email标记生成器和standard标记生成器类似，只是它将url和email地址识别为单个标记；
  • Classic Tokenizer：classic标记生成器是基于语法的英语标记器；
  • Thai Tokenizer：thai标记生成器将泰语分成单词；

部分单词标记生成器

 这些标记生成器将文本或者单词分割为更小的片段，用于部分单词匹配：

  • N-Gram Tokenizer：ngram标记生成器可以在遇到特殊字符(比如空格或标点)时将文本分割为单词，然后返回每个单词的 n-grams（其实就是一个连续字母的滑动窗口，比如 quick–>[qu, ui, ic, ck]）；
  • Edge N-Gram Tokenizer：edge_ngram标记生成器在遇到特殊字符时(比如空格或标点)，会将文本分割为单词，最后返回每个单词的 n-gram ，它们锚定在单词的开头（也是一个滑动窗口，只是锚头是固定在开始字符，然后逐渐往后滑，比如 quick → [q, qu, qui, quic, quick]）；

结构化文本标记生成器

 以下标记生成器通常与结构化文本一起使用，如标识符、电子邮件地址、邮政编码和路径，而不是整个文本：

  • Keyword Tokenizer：keyword标记生成器是一个内部啥都没有的“空”标记生成器，无论输入什么文本，它都会输出完全一样的文本（作为一个单独的术语），它可以和标记过滤器(比如小写标记过滤器lowercase)组合以便输出标准化术语；
  • Pattern Tokenizer：pattern标记生成器使用Java正则表达式在文本与单词分隔符匹配时将文本分割为术语，或者将匹配的文本作为术语捕获；
  • Simple Pattern Tokenizer：simple_pattern标记生成器使用正则表达式捕获匹配的文本作为术语，它使用正则表达式特征的受限子集（可能是不能使用正则表达式的每个规则），并且通常比pattern标记化器更快；
  • Char Group Tokenizer：char_group标记生成器可以通过要分割的字符集进行配置，这通常比运行正则表达式消耗的资源要少得多；
  • Simple Pattern Split Tonkenizer：simple_pattern_split标记生成器和simple_pattern标记生成器同样使用正则表达式特征的受限子集，但是在匹配时会拆分输入而不是将匹配作为术语返回；
  • Path Tokenizer：path_hierarchy标记生成器采用类似文件系统路径的分层值，在路径分隔符上拆分，并为树级目录的每个组件输出一个术语（比如/foo/bar/baz → [/foo, /foo/bar, /foo/bar/baz]）；

1. 标准标记生成器(Standard Tokenizer)

 standard标记生成器提供基于语法的标记化工作，是大部分语言的最好选择。比如：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "standard",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog\u0027s bone."
}
'

结果为：[The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone]。和之前配置内置的分析时一样，有些标记生成器也是可配置的，这里standard标记生成器就是可配置的，它接受的参数如下：

  • max_token_length：表示标记的最大长度，如果某个标记超过了这个长度，则直接以max_token_length参数的数值大小分割文本，默认是255；

下面是配置standard标记生成器的小栗子：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  // 如果想要配 tokenizer ，必须通过结构化数据的方式去配置
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "standard",
          "max_token_length": 5
        }
      }
    }
  }
}
'

上述自定义了一个分析器my_analyzer，引用一个自定义的标记生成器my_tokenizer，这个标记生成器是基于standard标记生成器配置得到的(指定配置类型为standard，最大标记长度为5)，用这个分析器分析文本The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.，最终得到的结果为：[The, 2, QUICK, Brown, Foxes, jumpe, d, over, the, lazy, dog's, bone]，这里和之前的配置自定义分析器的功能有点类似。

2. 字母标记生成器(Letter Tokenizer)

 letter标记生成器只要遇到非字母字符（数字是非字母）就会将文本分割成一个个的术语，这对大部分的欧洲语言是合理的，但对一些亚洲语言并不适用，因为有些语言并不是以空格作为单词间的边界。下面是一个letter标记生成器的栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  // 如果不配置，直接使用 tokenizer，则不需要通过结构化数据配置
  "tokenizer": "letter",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
'

这里直不是用分析器去搞了，直接上了一个必要的标记生成器(这也可以！)，结果也很明显：[The, QUICK, Brown, Foxes, jumped, over, the, lazy, dog, s, bone]。letter标记生成器是不可配置的。

3. 小写标记生成器(Lowercase Tokenizer)

 lowercase标记生成器和letter标记生成器类似，只要遇到非字母字符就会将文本分割为术语，但它将所有术语转成小写。其实它的功能就是letter标记生成器和lowercase标记过滤器的组合，但是lowercase标记生成器更加高效，一步中执行了上述两步的工作。下面是一个栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "lowercase",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
'

对文本The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.进行分割结果为[the, quick, brown, foxes, jumped, over, the, lazy, dog, s, bone]。lowercase标记生成器是不可配置的。

4. 空格标记生成器(Whitespace Tokenizer)

 whitespace标记生成器只要遇到空格就会将文本分割成术语，和whitespace类似，下面是栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "whitespace",
  "text": "The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."
}
'

结果也很明显：[The, 2, QUICK, Brown-Foxes, jumped, over, the, lazy, dog's, bone.]。whitespace标记生成器是可配置的，可接受的参数有：

  • max_token_length：表示标记的最大长度，和之前一样，默认255；

5. UAX URL Email Tokenizer

 uax_url_email标记生成器和standard生成器一样，提供基于语法的标记化工作，此外它还会将url和email地址识别为单个术语。下面是一个栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "uax_url_email",
  "text": "Email me at john.smith@global-international.com"
}
'

结果为：[Email, me, at, john.smith@global-international.com]，这里是将john.smith@global-international.com识别为单个术语，如果使用standard标记生成器就会将john.smith@global-international.com分割为john.smith, global, international.com。

 uax_url_length标记生成器是可配置的，可接受的参数有：

  • max_token_length：表示标记的最大长度，和上面的定义一样，默认为255；

配置完还是和上面的一样，只不过生成标记时会有长度限制，超过限制直接分割。

6. 经典标记生成器(Classic Tokenizer)

 classic标记生成器是基于语法的，对英文文档的分割很友好，具有启发式功能，可以对缩写词、公司名称、电子邮件地址和互联网主机名进行特殊处理，但这些规则并不总是有效，而且除了英语以外语言基本不太适用。主要作用有：

  • 在大多数标点字符处分割单词，删除标点符号，但没有空格的点被视为标记的一部分(如big. lang–>[big, lang]，然后big.lang–>[big.lang])；
  • 在连字符处分割单词，除非在标记中有一个数字，整个token被解释为产品编号，不会被拆分；
  • 将email地址和网路主机名识别为一个术语；

 classic标记生成器是可配置的，可接受的参数也是max_token_length，下面是一个栗子：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "classic",
          "max_token_length": 5
        }
      }
    }
  }
}
'

用来分析文本The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.，结果为[The, 2, QUICK, Brown, Foxes, jumped, over, the, lazy, dog's, bone]。

7. NGram Tokenizer（网上翻译为连词分词器）

 ngram标记生成器遇到一系列特殊字符时会将文本分割为一个个的单词，然后输出一些固定长度的 N-Grams 单词，有点类似于滑动窗口，移动得到指定长度的连续字符串序列，对于查询不使用空格或具有长复合词的语言非常有用（例如德语），ngram标记生成器默认将初始文本视为单个标记，并生成最小长度为1且最大长度为2的N-gram。下面是一个栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "ngram",
  "text": "Quick Fox"
}
'

得到的结果为：[Q, Qu, u, ui, i, ic, c, ck, k, "k ", " ", " F", F, Fo, o, ox, x](用窗体宽度为1和2的窗口去滑动，注意是包含空格的)。

 ngram标记生成器是可配置的，可接受的参数包含：

  • min_gram：在 gram 中的最小长度，其实就是滑动窗口的最小宽度，默认为1；
  • max_gram：在 gram 中的最大长度，其实就是滑动窗口的最大宽度，默认为2；
  • token_chars：表示应包含在token中的字符类，ES将分割不属于指定类的字符，默认是[]（保留所有字符），指定的类可以是：
    • letter：字母，比如a, b, ï or 京；
    • digit：数字，比如3或7；
    • whitespace：空格符，比如空格或者换行符\n；
    • punctuation：标点，比如!或"；
    • symbol：符号，比如$或√；

通常会将min_gram和max_gram设置为同一个值(长度)会更有用一些，长度越小，文档匹配的越多，但匹配的质量越低，长度越长，匹配越具体。tri-gram（长度为3）是一个合适的初始长度；创建索引时，可以通过配置index.max_ngram_diff控制max_gram和min_gram的差值(如index.max_ngram_diff配置为5，那么max_gram-min_gram必须小于等于5)。下面是一个小栗子：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
	  // 自定义分析器
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
		// 配置ngram标记生成器
        "my_tokenizer": {
		  // 指定类型
          "type": "ngram",
		  // 滑动窗口的最小宽度
          "min_gram": 3,
		  // 滑动窗口的最大宽度
          "max_gram": 3,
		  // 指定应包含在 token 中的字符，就是去除
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}
'

使用my_analyzer分析文本2 Quick Foxes.得到的文本为：[Qui, uic, ick, Fox, oxe, xes]（这里开始有点懵，不是说token中可包含字母和数字吗，然后反应过来token_chars含义是指定了token中可包含的内容，其他的都不可以，因为指定了窗口长度为3，如果想包含2这个数字，因为后面跟了一个空格，所以2是肯定无法包含在哪个token中的）。

8. Edge NGram Tokenizer（网上翻译为边界连词分词器）

 edge_ngram标记生成器在遇到一系列特殊字符时会将文本分割为单词，然后锚定单词的首字符输出连词，Edge N-Grams对于搜索类型的查询非常有用。当需要按类型搜索具有广为人知的顺序的文本时，例如电影或歌曲标题，completion suggester 是比Edge N-gram 更有效的选择，Edge N-gram在尝试自动填充可以按任何顺序出现的单词时具有优势。edge_ngram标记生成器将初始文本视为单个标记，并生成最小长度为1且最大长度为2的 N-gram，如：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "edge_ngram",
  "text": "Quick Fox"
}
'

输出为：[Q, Qu]，因为锚定了首字母Q，最大长度为2，所以只有2个（通常默认的长度是无用的，需要使用edge_ngram配置这个数值）。

 edge_ngram标记生成器是可配置的，可接受的参数有：

  • min_gram：在 gram 中的最小长度，其实就是滑动窗口的最小宽度，默认为1；
  • max_gram：在 gram 中的最大长度，其实就是滑动窗口的最大宽度，默认为2；
  • token_chars：表示应包含在token中的字符类，ES将分割不属于指定类的字符，默认是[]（保留所有字符），指定的类可以是：
    • letter：字母，比如a, b, ï or 京；
    • digit：数字，比如3或7；
    • whitespace：空格符，比如空格或者换行符\n；
    • punctuation：标点，比如!或"；
    • symbol：符号，比如$或√；

下面是一个栗子：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}
'

配置了edge_ngram标记生成器的最小连词长度为2、最大连词长度为10，token中可包含的字母为letter和digit（即字母和数字），然后使用这个自定义配置的edge_ngram标记生成器分析文本2 Quick Foxes.，得到的结果为：[Qu, Qui, Quic, Quick, Fo, Fox, Foxe, Foxes]。通常推荐在索引时使用和搜索时使用的analyzer一样，但是edge_ngram标记生成器不一样，处理也不一样，只有在索引时使用edge_ngram标记生成器才有意义，以确保部分单词可用于索引中的匹配。在搜索时，只需搜索用户输入的字词，比如：Quick Fo。下面是一个如何设置search-as-you-type字段的栗子(这个栗子有点懵)：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "autocomplete": {
          "tokenizer": "autocomplete",
          "filter": [
            "lowercase"
          ]
        },
        "autocomplete_search": {
          "tokenizer": "lowercase"
        }
      },
      "tokenizer": {
        "autocomplete": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter"
          ]
        }
      }
    }
  },
  "mappings": {
    "_doc": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "autocomplete",
          "search_analyzer": "autocomplete_search"
        }
      }
    }
  }
}
'

然后用下面的请求进行验证：

// 放入数据
curl -X PUT "localhost:9200/my_index/_doc/1" -H 'Content-Type: application/json' -d'
{
  // 自动完成分析器对[qu，qui，quic，quick，fo，fox，foxe，foxes]这些术语进行索引
  "title": "Quick Foxes"
}
'
curl -X POST "localhost:9200/my_index/_refresh"
curl -X GET "localhost:9200/my_index/_search" -H 'Content-Type: application/json' -d'
{
  "query": {
    "match": {
      "title": {
		// autocomplete_search分析器搜索术语[quick，fo]，两者都出现在索引中。
        "query": "Quick Fo",
        "operator": "and"
      }
    }
  }
}
'

9. 关键词标记生成器（Keyword Tokenizer）

 keyword标记生成器是一个“空”标记生成器，无论给出什么文本，都输出与单个术语完全相同的文本。keyword标记生成器可以和标记过滤器组合使用标准化输出。下面是一个栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "keyword",
  "text": "New York"
}
'

结果很明显[New York]，keyword标记生成器也是可配置的，接受的参数有：

  • buffer_size：表示单次传递中读入术语缓冲区的字符数，默认为256，术语缓冲区将按这个参数设置的值大小增长，直到消耗完所有文本，建议不要更改此设置；

10. 模式标记生成器（Pattern Tokenizer）

 pattern标记生成器使用正则表达式在文本与单词分隔符匹配时将文本拆分为术语，或者将匹配的文本作为术语捕获，默认模式为\W+，只要遇到非单词字符(非单词就是除了字母和数字以及下划线外的所有字符，等价于[^A-Za-z0-9_])就会分割文本。比如：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "pattern",
  "text": "The foo_bar_size's default is 5."
}
'

最后的分析结果也很明显[The, foo_bar_size, s, default, is, 5]。

 pattern标记生成器是可配置的，可接受的参数有：

  • pattern：Java正则表达式，默认为\W+；
  • flags：Java表达式的标识符，标志应该是管道分开的，比如CASE_INSENSITIVE|COMMENTS；
  • group：哪个捕获组提取为标记，默认为-1；

下面是一个小栗子：

curl -X PUT "localhost:9200/my_index" -H 'Content-Type: application/json' -d'
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer"
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "pattern",
          "pattern": ","
        }
      }
    }
  }
}
'

上述基于pattern标记生成器将正则表达式改为,，此时用my_analyzer分割文本comma,separated,values时，得到的结果就为[comma, separated, values]。

11. 字符群标记生成器（Char Group Tokenizer）

 char_group标记生成器会在遇到某一特定字符时（一个已定义好的集合中的任一字符），就会将文本分割为术语，它主要用于需要简单自定义标记的情况，并且不能接受使用pattern标记器的开销。char_group标记生成器是可配置的，可接受的参数有：

  • tokenize_on_chars：表示需要进行标记化的字符列表(即上述提到的已定义好的字符集合)，只要遇到此列表中的字符，就会开始切割新标记，这个参数接受单个字符(如连字符-)或字符组(如whitespace, letter, digit, punctuation, symbol)；

下面是一个栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": {
    "type": "char_group",
    "tokenize_on_chars": [
      "whitespace",
      "-",
      "\n"
    ]
  },
  "text": "The QUICK brown-fox"
}
'

最后的结果为[The, QUICK, brown, fox]。

12. 简单模式标记生成器（Simple Pattern Tokenizer）

注：Lucene中将Simple Pattern Tokenizer和Simple Pattern Split Tokenizer标记为实验性功能。

13. 路径层次的标记生成器(Path Hierarchy Tokenizer)

 path_hierarchy采用类似文件系统路径的分层值，在路径分隔符上拆分，并为树中的每个组件输出一个术语。比如：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": "path_hierarchy",
  "text": "/one/two/three"
}
'

分析的结果为[/one, /one/two, /one/two/three]，其实有点类似于N-gram，锚定首字符，只不过窗口的长度是动态变化的，永远是以下一个/分隔符为界定的。

 path_hierarchy标记生成器是可配置的，可接受的参数有（以分析/one/two/three文本为例）：

  • delimiter：表示路径分隔符，默认是\；
  • replacement：表示用于分隔符的可选替换字符，默认是\（即输出标记时将原来的路径分隔符替换为这里的值，比如指定为|，结果就为[|one, |one|two, |one|two|three ]）；
  • buffer_size：表示单次传递中读入术语缓冲区的字符数，默认为1024.术语缓冲区将这个参数的值增长，直到消耗完所有文本，建议不要更改此设置；
  • reverse：表示是否以相反的顺序输出标记，默认为false（正常输出顺序为[/one, /one/two, /one/two/three]，当逆序就是[/One/two/Three, One/two/Three, two/Three, Three]）；
  • skip：表示要跳过的初始标记数量，默认为0(比如1，那输出的标记就为[/one/two, /one/two/three])；

下面是栗子：

curl -X POST "localhost:9200/_analyze" -H 'Content-Type: application/json' -d'
{
  "tokenizer": {
    "type": "path_hierarchy",
    "delimiter": "/",
    "replacement": "|",
    "reverse": true,
    "skip": 1
  },
  "text": "/One/two/Three"
}
'

最后的结果为[|One|two|, One|two|, two|]。

【注】

这里对reverse参数作一个说明(输入的文本为/One/two/Three)：

  • false：即正序时，输出为[/One, /One/two, /One/two/Three]；
  • true：即逆序时，输出为[/One/two/Three, One/two/Three, two/Three, Three]；

总结一下，正序时就是从前往后依次添加/xx字符串(xx可以为空)；逆序时，是从前向后依次删除xx/的字符串(xx可以为空)。

jacksonary
关注
专栏目录
【elasticsearch】- Learning elasticsearch
07-06
### Elasticsearch 学习指南 #### 一、Elasticsearch 入门 **1.1 关于 Elasticsearch** Elasticsearch 是一款基于 Lucene 的开源搜索和分析引擎，它提供了分布式、实时的全文搜索功能，并且可以扩展到上百台...
ES分词器
weixin_40007182的博客
12-15 2940
ES分词器介绍
ElasticSearch 解析机制常见用法库 之 Tokenizer常用用法
热门推荐
菜刚RyuGou的专栏
06-18 1万+
Tokenizer 译作：“分词”，可以说是ElasticSearch Analysis机制中最重要的部分。 standard tokenizer 标准类型的tokenizer对欧洲语言非常友好， 支持Unicode。 如下是设置: 设置 说明 max_token_length 最大的token集合,即经过tokenizer过后得到的结果集的最...
ES使用Ngram分词器实现wildcard高性能替代方案
一个人的人生
05-03 5607
## 3.1 Ngram定义 Ngram是一种基于统计语言模型的算法。 Ngram的基本思想：是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。 该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。
es自定义分词器对数字分词
08-03 2877
es自定义分词器处理数字类型
ES自带分词器及IK分词器笔记
hello_yajing的博客
06-17 1497
一、分词 1、自带分词简单了解 standard：英文大写转小写，按空格分词，中文按单个字分词。 POST _analyze { "analyzer": "standard", "text": "Like X 国庆放假的" } 标准分析器接受下列参数： max_token_length ： 最大token长度，默认255。 stopwords ： 预定义的停止词列表，如_english_ 或包含停止词列表的数组，默认是 _none_。 stopwords_p...
基于Zxing的二维码扫码DELPHI源码，XE10.1UP1亲测通过
09-21
6. **打包应用**：最后，通过DELMPI的项目管理器（如`ES_BarCode.dpr`和`ES_BarCode.dproj`）编译和打包项目，生成APK文件。 【问题分析】 在描述中提到，源码在XE10.1UP1环境下能够正常运行，但在集成到新项目后...
UNIX 高级教程系统技术内幕
11-12
12.8.2 分析 12.9 多处理器的分层分配器 12.9.1 分析 12.10 Solaris 2.4 的Slab 分配器 12.10.1 对象复用 12.10.2 硬件Cache 利用率 12.10.3 分配器footprint 12.10.4 设计与接口 12.10.5 实现 12.10.6 分析 12.11 ...
Android C++高级编程：使用NDK_Onur Cinar, 于红PDF电子书下载 带书签目录 完整版
11-06
10.1 Echo Local Activity布局 231 10.2 Echo Local Activity 232 10.3 实现原生本地Socket Server 237 10.3.1 创建本地Socket：socket 237 10.3.2 将本地socket与Name绑定：bind 238 10.3.3 接受本地Socket：...
ES学习记录10——ES分析器1
jacksonary的博客
11-07 2018
1. 概述 2. 分析器的本质 3. 分析器简易实操 4. 分析器Analyzers 4.1 配置内置的分析器 4.1.1 标准分析器(Standard Analyzer) 4.1.2 简易分析器(Simple Analyzer) 4.1.3 空格分析器(Whitespace Analyzer) 4.1.4 段词分析器(Stop Analyzer) 4.1.5 关键词分析器(Keyword...
一起学Elasticsearch系列-模糊搜索
最新发布
BookSea的博客
01-01 1580
在 Elasticsearch 中，模糊搜索是一种近似匹配的搜索方式。它允许找到与搜索词项相似但不完全相等的文档
Elasticsearch 的 NGram 分词器使用技巧
weixin_41879185的博客
05-03 2620
NGram分词器是ES自带的具有前缀匹配搜索功能的一个文本分词器。它能根据逐步对写入的文本内容进行约束切割;
【9种】ElasticSearch分词器详解，一文get！！！| 博学谷狂野架构师
博学谷狂野架构师的博客
05-08 7189
分词器的主要作用将用户输入的一段文本，按照一定逻辑，分析成多个词语的一种工具顾名思义，文本分析就是把全文本转换成一系列单词（term/token）的过程，也叫分词。在 ES 中，Analysis 是通过分词器（Analyzer）来实现的，可使用 ES 内置的分析器或者按需定制化分析器。举一个分词简单的例子：比如你输入，会自动帮你分成两个单词，一个是mastering，另一个是，可以看出单词也被转化成了小写的。当内置的分词器无法满足需求时，可以创建custom类型的分词器。
ES 生产中10个常见参数阈值（默认最大值）操作及优化解决方案
Elastic开源社区
05-18 8986
1 文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/7.13/search-settings.html indices.query.bool.max_clause_count （静态，整数）Lucene BooleanQuery 可以包含的最大子句数。默认为1024. 此设置限制 Lucene BooleanQuery 可以拥有的子句数量。默认值 1024 相当高，通常应该足够了。此限制不仅影响 Elasticsearchsbool查
5-Elasticsearch分词器
zx_1305769448的博客
03-10 385
Elasticsearch分词器
ES7.16.2基础操作之搜索推荐ngram（八）
ls_call520的专栏
12-27 1330
##ngram高性能分词搜索（edge ngram将每个单词切分搜索） ##如:hello world,可拆分如下： ##h ##he ##hel ##hell ##hello ##w ##wo ##wor ##worl ##world ##1、建索引，指定自定义分词器 PUT /person { "settings": { "analysis": { "filter": { "autocomplete_filter":{ "type":"e.
02.analyzer-tokenizer
寒夜
07-19 9333
文章目录1. elasticsearch tokenizers1.es自带的tokenizer 概览2. 自带tokenizer详解1. Standard Tokenizer2. Letter Tokenizer3. Lowercase Tokenizer4. Whitespace Tokenizer5. UAX URL Email Tokenizer6. Classic Tokenizer7. Thai Tokenizer8. N-Gram Tokenizer9. Edge N-Gram Tokenize
【ES实战】ES分词器介绍
coding and writing
02-24 8805
ES 分词器概念介绍
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值