TF-IDF是一种统计方法，用于评估单词在文档中的重要性。它是词频TF和逆向文档频率IDF的乘积，有助于文档分类。在朴素贝叶斯算法中，TF-IDF值高的单词更能区分文档。例如，"bayes"的TF-IDF值大于"this"，表明"bayes"是更好的分类特征。
TF-IDF值
什么是TF-IDF值
TF-IDF是一个统计方法，用来评估某个词语对于一个文件集或者文档库中的其中一份文件的重要程度。
TF-IDF实际上是Term Frequency和Inverse Document Frequency的总称，二者缩写为TF和IDF，分别代表了词频和逆向文档频率。
词频TF计算了一个单词在文档中出现的次数，它认为一个单词的重要性和它在文档中出现的次数成正比。
逆向文档频率IDF，是指 一个单词在文档中的区分度。他认为一个单词出现在的文档数越少，就越能通过这个单词把该文档和其他文档区分开。IDF越大就代表该单词的区分度越大。
所以TF-IDF实际上是词频TF和逆向文档频率IDF的乘积。这样我们倾向于找到TF和IDF取值都高的单词作为区分，即这个单词在一个文档中出现的次数多，同时又很少出现在其他文档中。这样的单词适合用于分类。
TF-IDF如何计算
首先，我们看下词频TF和逆向文档概率IDF的公式：
为什么 IDF 的分母中，单词出现的文档数要加 1 呢？因为有些单词可能不会存在文档中，为了避免分母为 0，统一给单词出现的文档数都加 1。
<
最低0.47元/天 解锁文章
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
