RAG开发中，如何用Milvus 2.5 BM25算法实现混合搜索

01.

背景

混合搜索(Hybrid Search)作为RAG应用中Retrieve重要的一环，通常指的是将向量搜索与基于关键词的搜索（全文检索）相结合，并使用RRF算法合并、并重排两种不同检索的结果，最终来提高数据的召回率。全文检索与语义检索不是非此即彼的关系。我们需要同时兼顾语义理解和精确的关键字匹配。比如学术论文的写作中，用户不仅希望在搜索结果看到与搜索查询相关的概念，同时也希望保留查询中使用的原始信息返回搜索结果，比如基于一些特殊术语和名称。因此，许多搜索应用正在采用混合搜索方法，结合两种方法的优势，以平衡灵活的语义相关性和可预测的精确关键字匹配。

从 Milvus 2.4 版本开始，我们引入了多向量搜索和执行混合搜索（多向量搜索）的能力。混合搜索允许用户同时搜索跨多个向量列的内容。这个功能使得可以结合多模态搜索、混合稀疏和全文关键词搜索、密集向量搜索以及混合密集和全文搜索，提供多样且灵活的搜索功能，增强了我们的向量相似性搜索和数据分析。

02.

Milvus BM25

在最新的Milvus 2.5里，我们带来了“全新”的全文检索能力

• 对于全文检索基于的 BM25 算法，我们采用的是 Sparse-BM25，基于 Sparse Vector 实现的 BM25 在存储效率、检索性能上都打开了更多的空间，同时也融合在了 Milvus 以向量为核心检索范式的产品理念里；

• 同时引入了原始文本插入和查询的能力，不需要用户手动将文本转成 Sparse Vector，这使得 Milvus 朝着非结构化数据处理的方向迈进了一步。

详情请参见 Milvus 2.5:全文检索上线,标量过滤提速,易用性再突破

Sparse-BM25 其原理类似 Elasticsearch 和其他全文搜索系统中常用的BM25算法，但针对稀疏向量设计，可以实现相同效果的全文搜索功能。

• 具有数据剪枝功能的高效检索算法：通过剪枝来丢弃搜索查询中的低值稀疏向量，向量数据库可以显著减小索引大小并以最小的质量损失达成最优的性能。

• 带来进一步的性能优化：将词频表示为稀疏向量而不是倒排索引，可以实现其他基于向量的优化。比如：用图索引替代暴力扫描，实现更有效的搜索；乘积量化（PQ）/标量量化（SQ），进一步减少内存占用。

详情请参见 Elasticsearch vs 向量数据库:寻找最佳混合检索方案

03.

Milvus BM25 Hybrid Search

1. 首先，准备数据和