TF-IDF算法的优劣

    前几天转载了TF-IDF算法的思路(见：TF/IDF算法(转载) )，参照这一思路用JAVA实现了算法。——在这之前，我使用权重＋词频(V-TF)的方法计算了文本的关键词。现在通过比较，来分析一下出现的一些问题。
总体来说，很遗憾的得发现，——就目前的结果来看，TF-IDF的准确率明显不如V-TF。出现这一情况确实很意外，根据实验的情况，来分析其中究竟那些地方出了问题。
    首先解析一下TF-IDF算法中的IDF。我采用的是搜狗实验室提供的搜狐新闻源，一共有200万条左右的新闻，分成15个频道，每个频道的新闻数量各不一样，从94条到40多万条。然后使用蓝山咖啡同学的MIK_Analyser做双向最大匹配分词，统计出各个频道相应关键词的IDF值，其中去除了主字典中未出现的词，纯数字以及单字。IDF＝ln(D/DF)，其中D为新闻总数，DF为出现关键词的文档总数。
    其次来说明TF，在这过程中，还是考虑了不同部分的权重。新闻标题的权重是新闻正文权重的1.5倍，用计算得到的权重之和除于文档中的词语总数，得到TF值。
接下来，讨论TF-IDF算法本身和实现过程中可能的影响因素：
1、IDF的引入，其初衷是抑制某一文档内无意义高频词的负面影响，但是在总文档于关键词出现文档比值较大时，低频词将因此而被凸现出来。这里面有一个问题值得商榷：常见词并不等于无意义词，比如一些公众人物，热点事件等等，同样的，低频词的偶然出现将被当作高权值关键词，这过渡放大了生僻词的重要性。
2、新闻源的质量，——这也是我一直最不放心的部分，一方面IDF使用的新闻源和需要处理的新闻出自不同的网站