RankRAG:统一大语言模型中的上下文排序与检索增强生成

1. 引言

近年来,检索增强生成(Retrieval-Augmented Generation, RAG)技术在知识密集型自然语言处理任务中取得了广泛应用。RAG通过结合外部知识库的检索能力和大语言模型(Large Language Models, LLMs)的生成能力,有效地提升了模型在处理长尾知识、提供最新信息以及适应特定领域和任务方面的表现。

然而,传统的RAG流程存在一些局限性:

1. 大语言模型难以有效处理过多的上下文片段,即使在长上下文窗口的情况下也是如此。这不仅出于效率考虑,更重要的是,较短的top-k(如5或10)上下文通常能带来更高的生成准确率。

2. 在使用较小的k值时,需要一种机制来确保相关内容的高召回率。仅依赖检索模型可能不足以应对这一挑战,因为学习有效的局部对齐以支持准确匹配存在困难。

3. 虽然可以使用单独的排序模型来获取最相关的top-k上下文,但这些专家排序模型的零样本泛化能力可能相对有限,难以与通用大语言模型相比。

基于以上考虑,研究人员提出了一种新颖的指令微调框架——RankRAG。该框架旨在通过指令微调单个大语言模型,同时实现RAG中的上下文排序和答案生成两个目的。RankRAG的核心思想是利用大语言模型在问答任务中提取相关上下文的能力,将其视为判断上下文是否与问题相关的"对偶能力"。这种洞察启发了研究者设计一种统一的框架,将上下文排序和答案生成融为一体。

2. RankRAG方法

2.1 两阶段指令微