TFIDF

最新推荐文章于 2024-08-22 19:58:14 发布

@dream

最新推荐文章于 2024-08-22 19:58:14 发布

阅读量573

点赞数 1

分类专栏：算法文章标签： TFIDF 算法

本文链接：https://blog.csdn.net/duan12910/article/details/100830128

版权

算法专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1.TFIDF算法原理

TFIDF (term frequency - inverse document frequency)
主要思想：如果某个词或者短语在一篇文章中出现的频率TF较高，而且在其他文章中出现的频率较少，则认为此词或短语具有很好的类别区分能力。

计算公式：
有语料库 $D$ ，文章表示为 $d$ ，文章中的词或者短语表示为 $w$ 。
TF(term frequency，词频):
$TF_{w, d_i} = \frac{count(w)} {\sum\limits_{t \in d_i} count(t)}$

$c o u n t (w)$ 为关键词 $w$ 出现的次数。

IDF(inverse document frequency, 逆文档频率):
$IDF_{w, D} = log \frac{|D|} {1 + \sum\limits_{i = 1}^{|D|} I(w, d_i) }$
$∣ D ∣$ 表示语料库 $D$ 中文章的数量， $I(w, d_i)$ 为指示函数，表示词或者短语 $w$ 是否在文章 $d_i$ 中出现，出现为1，否则为0。
若词或者短语 $w$ 未在语料库中出现过，我们需要对 $I D F$ 进行平滑(smooth)操作。