机器学习笔记-TF-IDF统计方法

机器学习笔记-TF-IDF统计方法

TF-IDF统计方法

简介

TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

其主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

TFIDF实际上是：
$$TF\ast IDF$$
TF为词频(Term Frequency)，指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。

IDF为逆向文件频率(Inverse Document Frequency)，某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取以10为底的对数得到：
$$idf(t)=log[(1+n)/(1+df(t))]+1$$