庖丁解牛分词器增加对日文,韩文分词的支持问题

最近遇到一个问题,paoding切词的时候把日语和韩文的部分字符都过滤了。
原因是:

[color=blue]在用CJKKnife刀时执行该if (CharSet.isCjkUnifiedIdeographs(ch))语句进入到
CharSet类中的
public static boolean isCjkUnifiedIdeographs(char ch) {
return ch >= 0x4E00 && ch < 0xA000;
}
因为0x4E00 -0xA000只属于CJK中日韩统一汉字范围,如:3040-309F:日文平假名 (Hiragana) 30A0-30FF:日文片假名 (Katakana) 不在此范围内所以返回的值为false,此时程序中index和offset的值是相等的所以直接
return LIMIT=-1返回从而日文的文字被过滤掉了。[/color]

解决办法:
[color=blue]public static boolean isCjkUnifiedIdeographs(char ch) {
//return ch >= 0x4E00 && ch < 0xA000;
return (ch >= 0x4E00 && ch < 0xA000) //中日韩统一表意文字
||(ch >= 0x3400 && ch < 0x4DBF) //中日韩统一表意文字扩充A
//日文字符集
||(ch >= 0x3040 && ch < 0x309F) //日文平假名
||(ch >= 0x30A0 && ch < 0x30FF) //日文片假名
||(ch >= 0x31F0 && ch < 0x31FF) //片假名音标扩充
//韩文字符集
||(ch >= 0xAC00 && ch < 0xD7AF) //朝鲜文音节
||(ch >= 0x1100 && ch < 0x11FF) //朝鲜文
||(ch >= 0x3130 && ch < 0x318F); //朝鲜文兼容字母
}[/color]

对于完整的CJK Unicode范围,可参考[url]http://blog.163.com/eric_wyf@126/blog/static/2086536520101019104615122/[/url]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值