TF-IDF原理

什么是TF-IDF

TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文件频率)。

是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

上述引用总结就是，一个词语在一篇文章中出现次数越多，同时在所有文档中出现次数越少，越能够代表该文章。这也就是TF-IDF的含义。

词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化（一般是词频除以文章总词数），以防止它偏向长的文件（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否）。

TF的公式：

但是需要注意的是，一些通用的词语对于主题并没有太大的作用，反倒是一些出现频率较少的词才能够表达文章的主题，所以单纯使用TF是不合适的。权重的设计必须满足：一个词语预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章主题的作用就很大，这些词的权重应该设计的较大。IDF就是完成这样的工作。

IDF的公式：

根据IDF的公式可以看出，如果一个词在大多文档中出现，那么分母就越大，逆文档频率就越小。分母之所以加1，是因为避免分母出现0的情况（即所有文档都不包含该词）。log表示对得到的值取对数。

最后，TF-IDF的总公式就是将TF的值与IDF的值相乘即可：

TF-IDF的公式：

可以看出，TF-IDF与一个词在一篇文章中出现的次数成正比，与该词在所有文档中出现的次数成反比。

参考：

http://www.ruanyifeng.com/blog/2013/03/tf-idf.html