bm25算法Java代码_BM25算法在Lucene中的应用

Lucene是apache软件基金会jakarta项目组的一个子项目，是一个用Java写的全文检索引擎工具包，可以方便的集成到系统中提以提供高效的检索能力，Lucene核心功能分为建索和检索两部分。而对于检索部分来说，检索词和结果的相关度则为整个系统的核心部分，Lucene在相关度得分上提供了多种算法，现在大多数文章都会提到其中的TF/IDF算法，本文主要说一下其中的BM25算法在Lucene中的应用

BM25是二元独立模型(BIM)的扩展，是一种用来评价搜索词和文档之间相关性的算法，在Lucene中被应用在对查询结果的评分计算中。也就是对于一个Query查询到的文档与Query的相关度的评分计算。

BM25模型:

BM25算法模型

其中Q为Query，d标识搜索结果的文档，qi表示Query中的一个语素(分词)，Wi表示qi的权重，R(qi，d)表示语素qi与文档d的相关性得分。

这里的Wi的处理方式在Lucene中使用的是IDF算法，计算如下

IDF

N为文档的总数，n(qi)为包含qi的文档数，显而易见，当n(qi)越高时得分越低，语素的常见度越大则权重越低，因此在建索和查询时去除停止词也很有必要。

R(qi，d)：