IK分词组件大小写的问题

IK分词器在加载词典时, 词典中的大小写字符加载到内存时一律变为小写, 但是在分词时大小写是不会转换的, 所以就有以下情况发生:

当词典中有"HL定理", 对"HL定理的应用"分词时是不能分出"HL定理"的,

处理办法:在讲要分词的句子输入分词器前, 先将所有的大些字母转化为小写, 这样分词出来的就是 "hl定理"


工作中利用ik对 文章里的字符做分词 然后返回分词后的字符 进行关键字替换 
最后处理后的字符 发下文章里的全角都被ik改成了半角,英文字母如果是大写的也被ik改成了小写 ,这是ik分词内部类规则的一个特性一般用来做搜索的时候用的,这个没错,但是在我的需求里用不到这个特性所以我必须把它去掉 

打开ik的源码包org.wltea.analyzer.core.CharacterUtil类里 
有个方法 叫regularize 该方法的作用是进行字符规格化(全角转半角,大写转小写处理) 
显然把这个方法注释就好了 ,并且去掉相关引用地方的该方法调用 
这样ik分词出来的字符就保留原先的完整性了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值