增强大模型文档问答的候选段落筛选

概述

本文研究背景是大型语言模型（LLMs）在上下文学习领域取得了出色的表现，但在选择上下文示例的质量上仍存在挑战。 以前的方法包括使用BM25算法或现成的句子嵌入进行示例检索，但存在质量不高和无法有效利用LLMs反馈信息的问题。本文提出的方法是基于迭代训练的，通过训练密集的检索器来选择高质量的上下文示例。 本文的研究方法是首先通过LLMs的反馈训练奖励模型来评估示例的质量，然后通过知识蒸馏来训练基于双编码器的密集检索器。 实验在30个任务上进行，结果表明我们的方法显著提升了上下文学习的性能，并展示了在训练中对未见任务的泛化能力。深入分析表明，我们的模型通过检索具有相似模式的示例来提高性能，并且这种提升在不同大小的LLMs中都一致存在。

重要问题探讨

1. 该研究中提到的初始检索器是如何选择并生成初始候选列表的？ 根据文中的描述，初始检索器使用无监督的BM25算法来进行初始检索。它将输入x作为查询，并将每个候选项设为输入xi和输出yi的字符串拼接。通过这种方式，初始检索器能够在训练示例池P中检索出与输入x相关的候选项。

2. 文中提到的LLM的反馈信号如何用于对检索到的候选项进行排名？ 根据文中的描述，使用固定的LLM来计算候选项的排名。具体而言，通过计算给定输入x和第i个候选项(xi, yi)的条件概率p(y|x, xi, yi)来对候选项进行降序排名。这个条件概率是通过LLM的前向传递计算得出的，它反映了LLM对于候选项输出y的可能性。排名越高的候选项表示LLM认为其输出与真实输出y更为匹配。

3. 在奖励建模阶段，该研究如何使用交叉编码器来训练奖励模型？ 根据文中的描述，提出了一种基于交叉编码器的奖励模型。交叉编码器使用LLM对检索到的候选结果进行编码，并将候选结果与真实输出进行匹配。通过最大化交叉编码器给出的匹配分数，奖励模型能够更好地捕捉LLM对检索到的候选项的偏好，为密集检索器提供细粒度的监督信号。

4. 文中提到LMM的推理过程如何在训练数据生成和奖励建模阶段中发挥作用？ 根据文中描述，在训练数据生成阶段，LMM用于计算候选项的排名，并为生成的训练数据提供反馈信号。在奖励建模阶段，LMM的推理过程用于计算交叉编码器的匹配分数，进而训练奖励模型。LMM的推理过程在这两个阶段中起到关键作用，帮助指导候选项的选择和排名。

5. 该研究提出的框架在实际应用中是否可以降低LMM的推理成本？ 根据文中的描述，该研究的框架在实际应用中可以降低LMM的推理成本。在推理阶段，仅需要一次前向传递来计算候选项的排名和匹配分数，而不依赖于任何特定任务的度量标准。这减少了使用LLM进行推理的计算量和时间消耗。因此，该框架在实际应用中能够更高效地利用LLM进行检索和生成任务。

请注意，以上问题和回答是基于给定的文本内容。如需进一步了解或验证，请参考原始文章的详细内容。

论文：2307.07164