分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow
也欢迎大家转载本篇文章。分享知识,造福人民,实现我们中华民族伟大复兴!
在使用TF-IDF计算文章关键词的时候,需要知道某个词的词频是多少,使用 idf = Math.log(10000 + 10000.0 / (docFreq + 1))这个公式求解出idf的值。一般来说,词频统计越准确,每个词的idf的值就越准确,而词频的准确性与语料的多少有关,语料自然越多越好,但是通常情况下10G的数据量应该足够了。
假设现在我们有了10G的新闻语料和词列表,现在就可以来统计词频了,首先使用ANSJ对语料进行分词,分词时就把我们自定义的词列表作为用户字典,在得到分好词的数据后,再统计词频即可,JAVA代码如下:
import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;