IK分词器详解

本文介绍了IK分词器在Elasticsearch中的应用,用于改善中文分词效果。通过对比ik_smart和ik_max_word两种分词模式,展示了如何解决特定词汇未正确分词的问题。并详细说明了如何自定义字典以满足特定需求,确保关键词汇如'王尧天'能被正确处理。
摘要由CSDN通过智能技术生成

什么是IK分词器

分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时会把自己的信息进行分词,会把数据库中或则索引库中的数据进行分词,然后进行一个匹配操作,默认的中文分词是将每个字看成一个词,比如“我爱王尧天”会被分为:“我”,“爱”,“王”,“尧”,“天”,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。

Ik提供了两个分词算法: ik_smart和ik_max_word,其中ik_smart为最少切分,ik_max_word为最细粒度划分!一会我们进行测试

安装

1、GitHub - medcl/elasticsearch-analysis-ik: The IK Analysis plugin integrates Lucene IK analyzer into elasticsearch, support customized dictionary.

2、下载完毕之后,放入我们的elasticsearch插件中即可!

 3、重启观察ES,可以看到ik分词器被加载了

 4、elasticsearch-plugin 可以通过这个命令来查看加载进来的插件

5、使用kibana测试!

查看不同的分词效果 

ik_smart为最少切分

ik_max_word为最细粒度划分!穷尽词库的可能 字典

 

我们输入 超级喜欢王尧天 

发现问题:王尧天被拆开了

这种自己需要的词,需要自己加到我们分词器的字典中

ik分词器增加自己的配置!

 重启ES 看细节

再次测试一下王尧天,看下效果

 

以后的话,我们需要自己配置 ,分词就在自己定义的dic文件中进行配置即可 

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值