利用语义搜索和混合查询策略提升RAG系统的准确性

人工智能咨询培训老师叶梓 转载标明出处

在构建基于大模型（LLM）的生成式问答系统（Generative Q&A）时，检索增强生成（Retrieval-Augmented Generation, RAG）方法被广泛采用。RAG通过结合检索器（Retriever）和生成器（Generator）来实现，其中检索器负责从大量文档中提取最相关的信息，为语言模型提供上下文支持。然而，随着文档库规模的扩大，RAG的准确性面临挑战。IBM的研究人员提出了一种名为“Blended RAG”的新方法，通过利用语义搜索技术以及混合查询策略，显著提高了RAG的检索准确性，并在多个信息检索（IR）数据集上设立了新的基准。

方法

提升RAG系统的性能有三种不同的搜索策略。包括基于关键词的相似性搜索、基于密集向量的搜索，以及基于语义的稀疏编码器搜索。这些策略被整合到混合查询中，与传统的关键词匹配不同，语义搜索深入挖掘用户查询的细微差别，解读上下文和意图。

1. BM25索引：BM25索引擅长利用全文搜索能力，并增强了模糊匹配技术，为更复杂的查询操作奠定了基础。

2. 密集向量索引：构建了一个由句子转换器支持的密集向量索引。它通过文档和查询内容派生的向量表示来识别向量之间的接近程度。

3. 稀疏编码器索引：稀疏编码器检索模型索引结合了语义理解和基于相似度的检索，以捕捉术语之间细微的关系，从而更真实地表示用户意图和文档的相关性。

研究的方法论是分阶段进行的，首先在BM25索引中进行基本的匹配查询。然后，研究者们升级到混合查询，这些查询结合了多个字段中的不同搜索技术，利用稀疏编码器基础索引中的多匹配查询。当文档库中查询文本的确切位置不确定时，这种方法非常有效，确保了全面的匹配检索。多匹配查询分为以下几类：

• Cross Fields：针对多个字段的一致性。
• Most Fields：通过不同视角在各个字段中寻找文本表示。
• Best Fields：在单一字段内追求词的聚合。
• Phrase Prefix：类似于Best Fields，但优先考虑短语而非关键词。

在完成初步的匹配查询之后，研究人员进一步整合了基于密集向量的方法（KNN）和稀疏编码器索引。针对每种索引技术，他们都设计了专门的混合查询策略。通过这种策略性的方法