今天用了高师兄给的Mini分词器,现对其总结如下:
优点:
1、使用简单,很容易上手
2、源码公开,便于二次开发
缺点:
1、分词无法过滤词语
2、分词结果中仍然有标点符号
3、词典里面的词语太少,需要对词典进行大量的训练
综上所述,本人认为还是应该使用IKAnalyser或者ICTCLAS来解决分词问题
今天用了高师兄给的Mini分词器,现对其总结如下:
优点:
1、使用简单,很容易上手
2、源码公开,便于二次开发
缺点:
1、分词无法过滤词语
2、分词结果中仍然有标点符号
3、词典里面的词语太少,需要对词典进行大量的训练
综上所述,本人认为还是应该使用IKAnalyser或者ICTCLAS来解决分词问题