TF-IDF

词频是衡量词是否重要的一种方法。可用于文本特征表示中，根据词频为词赋不同权重。有以下常用词频：

• 布尔词频：用0，1区分某词是否出现，无法区分重要程度。
• 绝对词频(term frequency,TF)：用词出现的频率表示重要程度。
• TF-IDF:绝对词频-逆文本频率：在绝对词频的基础上，对常用词进行惩罚。

1. TF绝对词频

$$TF=\frac{该条样本某词出现总词数}{该条样本总词数}$$

绝对词频大的不一定很重要。例如一些停顿词（常用词），代词“的”“地”等等出现的频率也很高但事实上没什么作用。为此，提出了TF-IDF，在绝对词频的基础上对常用词加惩罚。

2. IDF

DF(Document Frequency)衡量词的通用程度，如果某词在所有样本中都出现了，那么该词通用性较强。
$$DF=\frac{所有样本中出现该词的样本数}{所有样本数}=\frac{{\sum }_{i=1}^{N}I(w,D_i)}{N}$$
$DF\in [0,1]$DF=1 说明该词在所有样本都出现，DF值越大，表明该词更通用；作为有用特征的可能性就越小。可以把上式取倒数得到逆文本频率(Inverse Document Frequency, IDF)，作为重要程度的一种衡量。同时，为了避免分母出现0，做平滑处理，分母+1。再取对数就是逆文本频率的计算公式。
$$IDF=\log \frac{N}{{\sum }_{i=1}^{N}I(w,D_i)+1}$$

3. TF-IDF

TF和IDF从二种不同角度衡量词的重要程度：

• TF:出现次数越多，越重要。
• IDF:通用性越强，越不重要。

TF-IDF综合考虑绝对词频和通用性。越不通用，词频越高的，越重要。
$$TF-IDF=TF\ast IDF$$