elasticsearch 分词器

一、分词器

分词器 就是把一段句子拆分成一个一个的单个的单词,同时对每个单词进行normalization(时态转换,单复数转换)。主要作用就是:切分词语,normalization(提升recall召回率)。

normalization: 建立倒排索引的时候,会执行一个操作,对拆分出的各个单词进行相应处理,以提升后面搜索的时候能够搜索到的相关联的文档的概率。像时态转换、单复数转换、大小写转换等。

recall(召回率): 搜索的时候,增加能够搜索到的结果的数量

二、分词器的功能

  1. character filter:在一段文本进行分词之前,先进行预处理,比如说最常见的就是,过滤html标签。例:<span>hello<span> --> hello& --> and,I&you --> I and you
  2. tokenizer:分词:hello you and me --> hello, you, and, me
  3. token filter:单复数转换、大小写转换,近义词转换,去掉a/an/the等。l

在分词器将文本进行各种处理后,最后处理好的结果才会拿去建立倒排索引。

三、es内置分词器

  1. standard analyzer(默认使用):大小写、去符号、按照基本空格拆分,也会按照-、_ 拆分。
  2. simple analyzer:相当于standard,但更简单。
  3. whitespace analyzer:不做大小写转换,且只按照空格拆分。
  4. language analyzer:特定的语言的分词器,比如说,english,英语分词器。

四、测试分词器

GET /_analyze
{
  "analyzer": "standard",
  "text": "Text to analyze"
}

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试

关闭