使用JAVA进行词频统计

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

               

在使用TF-IDF计算文章关键词的时候，需要知道某个词的词频是多少，使用 idf = Math.log(10000 + 10000.0 / (docFreq + 1))这个公式求解出idf的值。一般来说，词频统计越准确，每个词的idf的值就越准确，而词频的准确性与语料的多少有关，语料自然越多越好，但是通常情况下10G的数据量应该足够了。

假设现在我们有了10G的新闻语料和词列表，现在就可以来统计词频了，首先使用ANSJ对语料进行分词，分词时就把我们自定义的词列表作为用户字典，在得到分好词的数据后，再统计词频即可，JAVA代码如下：

import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;