TF-IDF原理及算法实现

一、TF-IDF算法介绍

TF-IDF(term frequency–inverse document frequency，词频-逆向文件频率)是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术.

TF-IDF是一种统计方法，用以评估字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

TF-IDF主要思想：如果一个单词在该文章中出现的频率(TF)高，并且在其它文章中出现频率很低，则认为该单词具有很好的区分能力，适合用来进行分类。

1）词频(Term Frequency)表示单词在该文章中出现的频率。通常归一化处理，以防止它偏向长的文件。

词频(TF) = 单词在该文章出现次数/当前文章总单词数
2）反问档频率(Inverse Document Frequency)表示某一个特定单词IDF可以由总文章数除以包含该单词的文章数，再将得到的商取对数得到。如果包含该单词的文章越少，则IDF越大，则表明该单词具有很好的文章区分能力。

反问档频率(IDF) = log(语料库中文章总数/(包含该单词的文章数+1))

question：为什么分母+1？
answer：分母之所以+1是为了避免分母为0.
其实最简单的IDF公式应该是log(语料库中文章总数/(包含该单词的文章数))，但是在一些特殊的时候会出现问题，比如一些生僻词在语料库中没有，这样分母会为0，IDF就没有意义了，为了避免这种情况发生，我们需要对IDF进行一些平滑操作，使得语料库中没有出现的生僻词也可以得到一个合适的IDF值。平滑的方式有很多种，上面的将分母+1是最简单的一种方式，还有一种比较常见的IDF平滑公式是IDF=log(语料库中文章总数+1/(包含该单词的文章数+1)+1)

TF-IDF与一个词在文档中的出现次数成正比， 与包含该词的文档数成反比。

有了IDF的定义，我们就可以计算某一个词语的TF-IDF值:
TF-IDF(x)=TF(x)*IDF(x),其中TF(x)指单词x在当前文章中的词频。