bm25,搜索词与文档之间的相关性,基于概率检索模型提出的。
二值独立模型 BIM。
1. 词袋模型,与顺序无关
2. 词之间上下文的无关 ,
每个单词的权重
query中每个单词t与文档d之间的相关性
单词t与query之间的相似性
传统的TF值理论上是可以无限大的。而BM25与之不同,它在TF计算方法中增加了一个常量k,用来限制TF值的增长极限。下面是两种计算方法中,词频对TF Score影响的走势图。从图中可以看到,当tf增加时,TF Score跟着增加,但是BM25的TF Score会被限制在0~k+1之间。它可以无限逼近k+1,但永远无法触达它。这在业务上可以理解为某一个因素的影响强度不能是无限的,而是有个最大值,这也符合我们对文本相关性逻辑的理解。
参考
https://zhuanlan.zhihu.com/p/79202151