网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
一、前言
ES文档的数据拆分成一个个有完整含义的关键词,并将关键词与文档对应,这样就可以通过关键词查询文档。要想正确地分词,需要选择合适的分词器。
现在咱们来探索一下分词器的真实面目!
二、默认分词器
standard analyzer:Elasticsearch默认分词器,根据空格和标点
符号对英文进行分词,会进行单词的大小写转换。
默认分词器是英文分词器,对中文的分词是一字一词。
三、IK分词器
IK分词器,全名IKAnalyzer,是一个开源的,基于Java语言开发的轻量级中文分词工具包。
1.主要算法
支持对中文进行分词,提供了两种分词算法
ik_smart:最少切分
ik_max_word:最细粒度划分
2.安装IK分词器
2.1 关闭es服务
2.2 上传ik分词器到虚拟机
tips: ik分词器的版本要和es版本保持一致
2.3 解压
解压ik分词器到elasticsearch的plugins目录下
unzip elasticsearch-analysis-ik-7.17.0.zip -d /usr/local/elasticsearch1/plugins/analysis-ik
2.4 启动ES服务
su es
#进入ES安装文件夹:
cd /usr/local/elasticsearch1/bin/
#启动ES服务:
./elasticsearch -d
2.5 测试分词器效果
#算法1
GET /_analyze
{
"text":"测试语句",
"analyzer":"ik\_smart"
}
eg:
GET /_analyze
{
"text": "我爱美羊羊",
"analyzer": "ik\_smart"
}
#算法2
GET /_analyze
{
"text":"测试语句",
"analyzer":"ik\_max\_word"
}
eg:
GET /_analyze
{
"text": "我爱美羊羊",
"analyzer": "ik\_max\_word"
}
2.6 IK分词器词典
IK分词器根据词典进行分词,词典文件在IK分词器的config目录中。
- main.dic:IK中内置的词典。记录了IK统计的所有中文单词。
- IKAnalyzer.cfg.xml:用于配置自定义词库。
四、拼音分词器
拼音分词器可以将中文分成对应的全拼,全拼首字母等。
1.安装
和ik分词器安装一样,也是先将es服务关闭,将拼音分词器上传至虚拟机,并且分词器版本需要和es版本一致(参考ik分词器安装)
2.测试分词效果
GET /_analyze
{
"text":测试语句,
"analyzer":pinyin
}
eg:
GET /_analyze
{
"text": "xi yang yang",
"analyzer": "pinyin"
}
![img](https://img-blog.csdnimg.cn/img_convert/e0cbb3d057ba24c357270828761e54f4.png)
![img](https://img-blog.csdnimg.cn/img_convert/4d77a5d42b7dc0abfa18608c89564acd.png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**