前两天分别用Analyzer和ICTCLAS作了分词,没有统计两者的分词准确率,故也无法分辨出孰优孰劣。只说一下自己做的结果:
解决的问题:
给出一个目录,能够对该目录中的所有txt文件进行分词,并将分词的结果保存在原来的txt文件中。程序中运用了递归方法,可以对目录子文件夹中的文件进行分词。
尚存在的问题:
没有实现停用词。ICTCLAS提供的是free版本,可能压根就没有停用词的功能,只是提供了词表扩展的功能,但是此功能对我似乎没有什么用途,因为我要处理的文件不包括或者只包括很少的专业词汇。IKanalyzer提供了停用词的功能,但是要用到Configuration.xml配置文件。我按照网友的说法进行了配置,但是无法实现相应的效果。注:我在程序中对Dictionary类进行了初始化。
下一步:
研究TFIDF的实现。