TF-IDF是一种用于信息检索与数据挖掘的常用加权技术,实际上是:TF * IDF,TF词频(Term Frequency),IDF逆向文件频率(Inverse Document Frequency);字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降;
TF-IDF原理:
1.词频:在一份给定的文件里,某一个给定的词语在该文件中出现的次数;这个数字通常会被归一化(分子一般小于分母),以防止它偏向长的文件(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否);
2.逆向文件频率:是一个词语普遍重要性的度量;某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到;
3.某一特定文件内的高词语频率,以及该词语在整个文件集合中的低文件频率,可以产生出高权重的TF-IDF;因此,TF-IDF倾向于过滤掉常见的词语,保留重要的词语;