TFIDF

---

1.TFIDF算法原理

TFIDF (term frequency - inverse document frequency)
主要思想：如果某个词或者短语在一篇文章中出现的频率TF较高，而且在其他文章中出现的频率较少，则认为此词或短语具有很好的类别区分能力。

计算公式：
有语料库$D$，文章表示为 $d$，文章中的词或者短语表示为$w$。
TF(term frequency，词频):
$$T{F}_{w,d_i}=\frac{count(w)}{\sum _{t\in d_i}count(t)}$$

$count(w)$为关键词$w$出现的次数。

IDF(inverse document frequency, 逆文档频率):
$$ID{F}_{w,D}=log\frac{|D|}{1+\sum _{i=1}^{|D|}I(w,d_i)}$$
$|D|$表示语料库$D$中文章的数量，$I(w,d_i)$为指示函数，表示词或者短语$w$是否在文章$d_i$中出现，出现为1，否则为0。
若词或者短语$w$未在语料库中出现过，我们需要对$IDF$进行平滑(smooth)操作。

$$TFID{F}_{w,d_i}=T{F}_{w,d_i}\ast ID{F}_{w,D}$$


一些结论：

1. 当一个词在文章频率越高并且新鲜度高（即普遍度低），其TF-IDF值越高。
2. TF-IDF兼顾词频与新鲜度，过滤一些常见词，保留能提供更多信息的重要词。
   
   

---

2. TFIDF 概率模型解释

参考网页

---

3. TFIDF python 实战

参考网页