超级会员免费看
本文深入探讨Elasticsearch的搜索相关性排序算法，从TF-IDF的基本原理出发，包括词频（TF）和逆向文件频率（IDF），再到BM25算法的改进，解释为何BM25能更好地处理文档长度差异。最后，简要介绍Lucene中的相关性计算方法，阐述其如何影响ES的搜索结果排序。
文章目录
前言
说明：本文章使用的ES版本是：6.2.4
在上一篇文章Elasticsearch源码解读四：搜索过程详解中，介绍了ES的搜索过程。
接下来我们具体的看一下ES搜索时，是如何计算文档相关性得分并用于排序的。
TF-IDF
在介绍ES计算文档得分之前，先来看一下TF-IDF算法。
TF-IDF（Term Frequency–Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用加权算法。它是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
TF-IDF算法原理
TF-IDF实际上是两个算法TF和IDF的乘积。
词频（Term Frequency，TF）
词频的所在对象是一个具体的文档，是指一个文档中出现某个单词（Term）的频率（Frequency）。这里用的是频率而不是次数，是为了防止文档内容过长从而导致某些单词出现过多。为了正确评价一个单词在一个文档中的重要程度，需要将出现次数归一化，其算法如下：
订阅专栏 解锁全文
3217
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
