elasticsearch relevance score algorithm (一) ：TF / IDF

题外话

记忆缩写的时候，最好记住它们的全拼，这样就能快速的反应出这个缩写是干什么的。

比如说 API，大家都知道代表接口的意思，但是具体来说接口是什么，就开始含糊其辞了。假如说我们记住 API 的全拼是 application program interface, 就可以直接回答出 API 是应用程序的入口。

1、 TF / IDF

Term Frequency / Inverse Document Frequency

词频 / 逆文档频率

使用场景： 在 elasticsearch version 5 及之前默认的算分算法。之后使用了 BM25 算法。

2、 TF

检索词在一篇文档中出现的频率。

公式： 检索词出现的次数 / 文档的总字数

度量一条查询和结果文档相关性的简单方法：简单的将搜索中每一个词的 TF 进行相加。

TF（鲜美）+ TF（的） + TF（肥羊）

停用词对 TF 的影响

“的”一般情况下属于停用词，虽然在文档中出现了很多次，但是对贡献相关性的得分几乎没有什么用户，不应该考虑他们的 TF。

3、 IDF

IDF 的全拼是 Inverse Document Frequency, 由 Inverse 和 Document Frequency 组成。在理解的时候，可分开来理解。 其中， DF 表示的是检索词在所有文档中出现的频率， I 来修改 DF，意思是说取反的意思，出现的频率越大，对得分贡献越低。

例

倒排列表存储的值的解释

4. 总结

TF / IDF 的 本质就是 TF 求和和 IDF 的加权求和。

参考函数：对数函数 logaN，其中 a > 1,
IDF relevance score = log全部文档数 / 检索词出现过的文档总数

lucene TF/IDF 计算公式