机器学习第五篇----TF-IDF算法详解

TF-IDF是Term Frequency - Inverse Document Frequency的缩写，即“词频-逆文本频率”。它由两部分组成，TF和IDF。在前期的关键词提取和文本one-hot的时候使用较多

1、TF-IDF 算法
TF（词频）：表示词w在文档Di中出现的频率，计算公式如下

其中count（w）为关键词w出现的次数，|Di| 为文档Di中所有词的数量。

IDF（逆文档频率）：）反映关键词的普遍程度——当一个词越普遍（即有大量文档包含这个词）时，其IDF值越低；反之，则IDF值越高。计算公式如下：

其中，N为所有的文档总数，I(w,Di)表示文档Di是否包含关键词，若包含则为1，若不包含则为0。若词w在所有文档中均未出现，则IDF公式中的分母为0，因此实践中需要对IDF做平滑

词w在文档Di的TF-IDF值计算如下：