修改imdict分词的机制,让其允许附加词库

[url]http://onedear.iteye.com/admin/blogs/673724[/url] 这个是修复后的版本,请打开这个连接下载代码

一直喜欢中科院的分词,但由于共享版有时间限制,虽有破解版,但这样用破解就不爽,在其官网找了一个java版的中科院分词imdict-chinese-analyzer
下载地址是
http://ictclas.org/OpenSrcDownCount.asp?PacketId=48&url=down/imdict-chinese-analyzer.zip
用了以后,觉得效果不错,但最大的硬伤是不允许附加词库,但既然源代码都到手了,这种不允许附加的机制当然能改。
最后没有改动源代码,仅仅自己另外写了几个类实现了

使用方式请看附件里面的readme.txt

//不加入默认词库,词库里面没有深圳市这个词,结果是 广东 深 圳 市 onedear
//附加词库后,结果是“广东 深圳市 onedear ”

同时也曾带上词性,但不是很准,所以附件里面的工程就取消了,主要是没有一个很好的算法跟思想,对多义词不知道应如何处理。希望大家能给给意见。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值