elasticsearch relevance score algorithm (一) :TF / IDF

题外话

记忆缩写的时候,最好记住它们的全拼,这样就能快速的反应出这个缩写是干什么的。

比如说 API,大家都知道代表接口的意思,但是具体来说接口是什么,就开始含糊其辞了。假如说我们记住 API 的全拼是 application program interface, 就可以直接回答出 API 是应用程序的入口。

1、 TF / IDF

Term Frequency / Inverse Document Frequency

词频 / 逆文档频率

使用场景: 在 elasticsearch version 5 及之前默认的算分算法。之后使用了 BM25 算法。

2、 TF

检索词在一篇文档中出现的频率。

公式: 检索词出现的次数 / 文档的总字数

度量一条查询和结果文档相关性的简单方法:简单的将搜索中每一个词的 TF 进行相加。

TF(鲜美)+ TF(的) + TF(肥羊)

停用词对 TF 的影响

“的”一般情况下属于停用词,虽然在文档中出现了很多次,但是对贡献相关性的得分几乎没有什么用户,不应该考虑他们的 TF。

3、 IDF

IDF 的全拼是 Inverse Document Frequency, 由 Inverse 和 Document Frequency 组成。在理解的时候,可分开来理解。 其中, DF 表示的是检索词在所有文档中出现的频率, I 来修改 DF,意思是说取反的意思,出现的频率越大,对得分贡献越低。


demo
倒排列表存储的值的解释
demo

4. 总结

TF / IDF 的 本质就是 TF 求和和 IDF 的加权求和。

参考函数:对数函数 logaN,其中 a > 1,
IDF relevance score = log全部文档数 / 检索词出现过的文档总数

对数函数

lucene TF/IDF 计算公式

lucene tf/idf algorithm

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值