ik添加词库

原文链接:https://my.oschina.net/jsonyang/blog/1643032

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

IK分词器作为一个开源软件,分词功能非常强大,一般场合的分词需求,他都可以完胜。但是对于专业术语和行业用词,ik有点不太智能,不过IK已经很棒了!下面我就介绍下如何手动添加热词文件的形式来拓展ik认知能力(分词索引)。

第一步:我们需要收集我们需要的行业术语,dic文件。

我们可以先去ik插件的config文件下,已经有很多的dic文件。这就是ik自己的热词。

114004_ZFR3_2401293.png

我自己加了一个叫hwtest.dic文件

114240_Xg5y_2401293.png

我加了两个词,注意每个热词是需要换行的。在我重启es的时候我先去看下这两个词是不是又被分词了

114409_ToYt_2401293.png

114349_Drxf_2401293.png

现在看起来这两个词ik并不能认为是一个完整的词。

现在把该dic文件配置ik/config/IKAnalyzer.cfg.xml文件内。

先看下这个文件内容

114549_xUxz_2401293.png

我现在把hwtest.dic配置到<entry key="ext_dict"></ectry>内部。然后重启es。

大家可以看下启动日志

145027_K7Da_2401293.png

hwtest.dic已经加载进去

145221_PG77_2401293.png

145107_zF49_2401293.png

大家看下“上海arthur”已经作为了一个完整的词。所以到时候如果存储该热词即可被索引成一个词。

手动添加拓展词库已经完成!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值