ES进阶(5)-分词

1.分词

一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。例如，whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割为 [Quick, brown, fox!]。该 tokenizer（分词器）还负责记录各个 term（词条）的顺序或 position 位置（用于 phrase 短语和 word proximity 词近邻查询），以及 term（词条）所代表的原始 word（单词）的 start（起始）和 end（结束）的 character offsets（字符偏移量）（用于高亮显示搜索的内容）。Elasticsearch 提供了很多内置的分词器，可以用来构建 custom analyzers（自定义分词器）。

2.标准分词器Standard Tokenizer

standard分词器提供基于语法的分词（基于 Unicode 文本分割算法，如 Unicode 标准附件 #29 中所述）并且适用于大多数语言。

POST _analyze
{
  "tokenizer": "standard",
  "text": "我是中国人"
}

3.ik分词器

es中默认的分词器，都是支持英文的，中文需要安装自己的分词器
github地址添加链接描述

git上已经没有v7.4.2版本了

wget  https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip

建ik目录

mkdir  ik

解压到ik中

unzip elasticsearch-analysis-ik-7.4.2.zip

k文件夹可读可写可执行

chmod  -R 777  ik/

验证

elasticsearch-plugin  list

重启es

docker  restart  elasticsearch

4.测试

4.1.ik_smart：智能分词

POST _analyze
{
  "tokenizer": "ik_smart",
  "text": "我是中国人"
}

4.2.ik_max_word：最大单词组合

POST _analyze
{
  "tokenizer": "ik_max_word",
  "text": "我是中国人"
}