Elasticsearch连续剧之分词器_es 默认分词器，2024年最新2024年阿里+头条+腾讯大厂大数据开发笔试真题

本文链接：https://blog.csdn.net/2401_84141419/article/details/137845120

本文介绍了Elasticsearch中的分词器使用，包括ik_smart、ik_max_word和pinyin，通过实例展示了如何分析文本。同时，提到了自定义分词器的配置，并分享了《2024年最新大数据全套学习资料》获取方式，旨在帮助开发者系统化学习和提升技术。

摘要由CSDN通过智能技术生成

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文


#### 2.5 测试分词器效果

#算法1
GET /_analyze
{
“text”:“测试语句”,
“analyzer”:“ik_smart”
}

eg:
GET /_analyze
{
“text”: “我爱美羊羊”,
“analyzer”: “ik_smart”
}


![在这里插入图片描述](https://img-blog.csdnimg.cn/7aef4f56b62d4734adf9d102975ea719.png)

#算法2
GET /_analyze
{
“text”:“测试语句”,
“analyzer”:“ik_max_word”
}

eg:
GET /_analyze
{
“text”: “我爱美羊羊”,
“analyzer”: “ik_max_word”
}


![在这里插入图片描述](https://img-blog.csdnimg.cn/8d77ad65b9b1429ab25768cf9258bf93.png)


#### 2.6 IK分词器词典


IK分词器根据词典进行分词，词典文件在IK分词器的config目录中。


* main.dic：IK中内置的词典。记录了IK统计的所有中文单词。
* IKAnalyzer.cfg.xml：用于配置自定义词库。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/ca016f55ad2b4eb5a521c4e4f5247ca6.png)


## 四、拼音分词器


![在这里插入图片描述](https://img-blog.csdnimg.cn/f712ddf683894737950051c1400e9e3c.png)


拼音分词器可以将中文分成对应的全拼，全拼首字母等。


### 1.安装


`和ik分词器安装一样，也是先将es服务关闭，将拼音分词器上传至虚拟机，并且分词器版本需要和es版本一致（参考ik分词器安装）`


### 2.测试分词效果

GET /_analyze
{
“text”:测试语句,
“analyzer”:pinyin
}

eg:
GET /_analyze
{
“text”: “xi yang yang”,
“analyzer”: “pinyin”
}


![在这里插入图片描述](https://img-blog.csdnimg.cn/e9d9c1e8bd58444696e0fbd28be4ca21.png)


## 五、自定义分词器


![在这里插入图片描述](https://img-blog.csdnimg.cn/135f398ba3374f2fb7060399151634f6.png)


前面两种分词器，各有优点，但是他们的功能确实不够完备，比如使用ik分词器可以对中文进行分词，但是却不能对拼音分词；所以在现实开发中，我们一般使用自定义分词器进行分词，这样既可以对文字分词，也可以对拼音分词，现在咱们来研究一下如何写一个ik+pinyin分词器。


### 1.创建自定义分词器

PUT /索引名
{
“settings” : {
“analysis” : {
“analyzer” : {
“ik_pinyin” : { //自定义分词器名
“tokenizer”:“ik_max_word”, // 基本分词器
“filter”:“pinyin_filter” // 配置分词器过滤
}
},
“filter” : { // 分词器过滤时配置另一个分词器，相当于同时使用两个分词器
“pinyin_filter” : {
“type” : “pinyin”, // 另一个分词器
// 拼音分词器的配置
“keep_separate_first_letter” : false, // 是否分词每个字的首字母
“keep_full_pinyin” : true, // 是否分词全拼
“keep_original” : true, // 是否保留原始输入
“remove_duplicated_term” : true // 是否删除重复项
}
}
}
},
“mappings”:{
“properties”:{
“域名1”:{
“type”:域的类型,
“store”:是否单独存储,
“index”:是否创建索引,
“analyzer”:分词器
},
“域名2”:{
…
}
}
}
}

eg:
PUT /student2
{
“settings”: {
“analysis”: {
“analyzer”: {
“ik_pinyin”:{
“tokenizer”:“ik_max_word”,
“filter”:“pinyin_filter”
}
},
“filter”: {
“pinyin_filter”:{
“type”:“pinyin”,
“keep_separate_first_letter” : false,
“keep_full_pinyin” : true,
“keep_original” : true,
“remove_duplicated_term” : true
}
}
}
},
“mappings”: {
“properties”: {
“name”:{
“type”: “text”,
“store”: true,
“index”: true,
“analyzer”: “ik_pinyin”
},
“age”:{
“type”: “integer”
}
}
}
}