关于分词的问题

前两天分别用Analyzer和ICTCLAS作了分词，没有统计两者的分词准确率，故也无法分辨出孰优孰劣。只说一下自己做的结果：

 

解决的问题：

 

给出一个目录，能够对该目录中的所有txt文件进行分词，并将分词的结果保存在原来的txt文件中。程序中运用了递归方法，可以对目录子文件夹中的文件进行分词。

 

尚存在的问题：

 

没有实现停用词。ICTCLAS提供的是free版本，可能压根就没有停用词的功能，只是提供了词表扩展的功能，但是此功能对我似乎没有什么用途，因为我要处理的文件不包括或者只包括很少的专业词汇。IKanalyzer提供了停用词的功能，但是要用到Configuration.xml配置文件。我按照网友的说法进行了配置，但是无法实现相应的效果。注：我在程序中对Dictionary类进行了初始化。

 

下一步：

 

研究TFIDF的实现。