TF-IDF投票机制

TF:term frequency
IDF:inverted docoument frequentcy

我们先假设一个Query(a b c d),(1 2 3 4)文件中含有term数对应为(6 3 7 5),查找的倒排表如下:
这里写图片描述
(a b c d)对应的文档频率为(1/4 1/3 1/2 1)
(1 2 3 4)对应文件ID
(1 2 3 4)在倒排表中对应个数为(2 2 3 3)
投票如下:
文件1=1/6*1/4+1/6*1/2=1/8
文件2=1/3*1/4+1/3*1/3=7/36
文件3=1/7*1/4+1/7*1/3+1/7*1=19/84
文件4=1/5*1/4+1/5*1/3+1/5*1/2=11/60

相似性从大到小排序如下:3 2 4 1

TF-IDF计算:

TF-IDF反映了在文档集合中一个单词对一个文档的重要性,经常在文本数据挖据与信息

提取中用来作为权重因子。在一份给定的文件里, 词频(termfrequency-TF)指的是某一

个给定的词语在该文件中出现的频率。 逆向文件频率(inversedocument frequency,

IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含

该词语之文件的数目,再将得到的商取 对数得到

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值