用TF-IDF处理文本数据

计算机擅长处理数字，但不擅长处理文本数据，TF-IDF是处理文本数据最广泛使用的技术之一，本文对它的工作原理以及它的特性进行介绍。

根据直觉，我们认为在文本数据分析中出现频率更高的单词应该具有更大的权重，但事实并非总是如此。诸如“the”、“will”和“you”等被称为停顿词的词在语料库中出现得最多，但意义不大。相反，那些罕见的词实际上是那些有助于区分数据的词，而且更有分量。

TF-IDF简介

TF-IDF代表“Term Frequency — Inverse Data Frequency(词频-逆文档频次)”，其数学含义如下：

Term Frequency (tf, 词频):给出语料库中每个文档中单词出现的频率。它是单词在文档中出现的次数与该文档中单词总数的比率，随着该单词在文档中出现次数的增加而增加，每个文档都有自己的词频:

$${tf}_{i,j}=\frac{n_{i,j}}{{\sum }_k{n}_{i,j}}$$

Inverse Data Frequency(idf, 逆数据频率):用于计算语料库中所有文档中罕见词的权重，语料库中很少出现的词具有较高的IDF分数，它由下面的方程给出: