1.分词
一个 tokenizer(分词器)接收一个字符流,将之分割为独立的 tokens(词元,通常是独立的单词),然后输出 tokens 流。例如,whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割为 [Quick, brown, fox!]。该 tokenizer(分词器)还负责记录各个 term(词条)的顺序或 position 位置(用于 phrase 短语和 word proximity 词近邻查询),以及 term(词条)所代表的原始 word(单词)的 start(起始)和 end(结束)的 character offsets(字符偏移量)(用于高亮显示搜索的内容)。Elasticsearch 提供了很多内置的分词器,可以用来构建 custom analyzers(自定义分词器)。
2.标准分词器Standard Tokenizer
standard分词器提供基于语法的分词(基于 Unicode 文本分割算法,如 Unicode 标准附件 #29 中所述)并且适用于大多数语言。
POST _analyze
{
"tokenizer": "standard",
"text": "我是中国人"
}
3.ik分词器
es中默认的分词器,都是支持英文的,中文需要安装自己的分词器
github地址添加链接描述
git上已经没有v7.4.2版本了
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-analysis-ik-7.4.2.zip
建ik目录
mkdir ik
解压到ik中
unzip elasticsearch-analysis-ik-7.4.2.zip
k文件夹可读可写可执行
chmod -R 777 ik/
验证
elasticsearch-plugin list
重启es
docker restart elasticsearch
4.测试
4.1.ik_smart:智能分词
POST _analyze
{
"tokenizer": "ik_smart",
"text": "我是中国人"
}
4.2.ik_max_word:最大单词组合
POST _analyze
{
"tokenizer": "ik_max_word",
"text": "我是中国人"
}