TF.IDF指标

定义

度量给定词语在少数文档中反复出现程度的形式化指标称为TF.IDF。
TF(term frequency): 词项频率。
IDF(inverse document frequency): 逆文档频率。
TF.IDF 为二者的乘积。

计算方法

文档集中有$N$ 篇文档，$f_{ij}$为词项$i$在文档$j$中出现的次数，则$$T{F}_{ij}=\frac{f_{ij}}{ma{x}_k{f}_{kj}}$$
即归一化处理，除以文档$j$中最高频词项的$TF$值。

假定词项$i$在$n_i$篇文档中出现，那么词项$i$的$IDF$定义如下：$$ID{F}_i=lo{g}_2\frac{N}{n_i}$$

计算词项$i$在文档$j$中的得分$T{F}_{ij}\times ID{F}_i$，具有最高得分的是刻画文档最好的词项。

例子

• 假定一个文档集由1000万篇文档组成。如果一个单词出现在 (a)40篇或(b)10000篇文档中，那么它的 $IDF$值是多少。
  (a) $IDF=lo{g}_2\frac{10^7}{40}$
  (b) $IDF=lo{g}_2\frac{10^7}{10^4}$

• 假定一个文档集由1000万篇文档组成，词$w$出现在其中的320篇文档中。在一篇具体的文档$d$中，出现最多的词出现了15次，那么$w$出现(a)1次或(b)5次情况下的$TF.IDF$得分分别是多少？
  (a) $TF.IDF=\frac{1}{15}\times lo{g}_2\frac{10^7}{320}$
  (b) $TF.IDF=\frac{5}{15}\times lo{g}_2\frac{10^7}{320}$