TF:term frequency
IDF:inverted docoument frequentcy
我们先假设一个Query(a b c d),(1 2 3 4)文件中含有term数对应为(6 3 7 5),查找的倒排表如下:
(a b c d)对应的文档频率为(1/4 1/3 1/2 1)
(1 2 3 4)对应文件ID
(1 2 3 4)在倒排表中对应个数为(2 2 3 3)
投票如下:
文件1=1/6*1/4+1/6*1/2=1/8
文件2=1/3*1/4+1/3*1/3=7/36
文件3=1/7*1/4+1/7*1/3+1/7*1=19/84
文件4=1/5*1/4+1/5*1/3+1/5*1/2=11/60
相似性从大到小排序如下:3 2 4 1
TF-IDF计算:
TF-IDF反映了在文档集合中一个单词对一个文档的重要性,经常在文本数据挖据与信息
提取中用来作为权重因子。在一份给定的文件里, 词频(termfrequency-TF)指的是某一
个给定的词语在该文件中出现的频率。 逆向文件频率(inversedocument frequency,
IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含
该词语之文件的数目,再将得到的商取 对数得到