TF-IDF词频的表示算法

TF-IDF 算法

TF(归一化后的词频)计算公式:

$TF=\frac{freq(i,j)}{maxlen(j)}$

$freq(i,j)$为词$w(i)$在文档$d(j)$中出现频率，$maxlen(j)$为$d(j)$长度，$d(i)$是文档集合$D$的一个子集$d(1),d(2),d(3)...d(n)$

TF说明一个词在某个文档中出现的次数越高，TF的值会越大
算法应用过程中要利用停用词词典去掉无关的词

$IDF$是逆文档频率

$IDF=log(\frac{len(D)}{n(i)})$

$len(D)$表示文档集合$D$中文档的总数，$n(i)$表示含有$w(i)$这个词的文档的数量

$IDF$用来降低通用词的词频
$IDF$公式说明含有某个词的文档越多，这个词的$IDF$会越小

$TF-IDF$值

$TF-IDF=TF\ast IDF$

$TF-IDF$公式表达来一次词的出现频率，并且在一定程度上降低了某些高频词的影响
利用$TF-IDF$组成的向量表示一个文档，可以再根据余弦相识度来计算文档之间的相关性