使用sci-kit learn计算TF-IDF

使用sci-kit learn计算TF-IDF

TF-IDF是衡量词在某文本中重要性的一种度量。它比其他诸如简单地统计词频的方法好的一点是，它对那些在各处十分常见而又不具有太多实际意义的词处理地比较好，比如”a”, “the”等等，使得它们不能占据很多的权重。所以TF-IDF被广泛地应用在文本分类等多个领域，取得了不错的效果。

以下首先简单介绍以下TF-IDF的计算原理，其次讲一讲具体的实例，用sklearn计算各文档词的权重矩阵。最后输出某些文档前5个最关键的词。

TF即term frequency，可以理解为一个词出现在所给文档中的次数。IDF即inverse document frequency，如果利用sklearn中默认的设置，像如下代码：

TfidfTransformer(norm='l2', use_idf=True, smooth_idf=True, sublinear_tf=False)

IDF这里设置smooth_idf=True，此时IDF按如下公式计算：

如果不用默认的属性，设置为smooth_idf = false，则IDF按如下公式计算：

这里的IDF即总文档数除以包含词t的文档数取对数再加1。

可以看出，前者相比后者在计算IDF时其实多了一步数据平滑的操作，也就是假设额外有一个包含所有词的文档。

TF-IDF也就是TF乘IDF。

用以上sklearn的函数计算除了TF-IDF之后，还会对计算出来的每个文档词的权重向量做一个欧几里得标准化，让权重向量长度为1。

标准化可以用以下代码实现：

>>> from sklearn.feature_extraction.text import TfidfTransformer
>>> transformer = TfidfTransformer(smooth_idf=F