UIUC：LLM偏好学习优化RAG效果

📖标题：RAG-Reward: Optimizing RAG with Reward Modeling and RLHF
🌐来源：arXiv, 2501.13264

🌟摘要

🔸检索增强生成（RAG）利用相关和最新的知识增强大型语言模型（LLM），提高其回答知识密集型问题的能力。它已被证明可以提高发电质量和可信度。虽然许多工作都集中在改进检索、生成和评估上，但奖励模型在强化学习中优化RAG和建立自动化基准管道的作用仍然没有得到充分探索。
🔸在本文中，我们介绍了RAG Reward，这是一个旨在实现无幻觉、全面、可靠和高效的RAG的数据集。我们定义了评估生成质量的四个关键指标，并开发了一个自动化注释管道，该管道利用多个LLM在不同的RAG场景中生成输出。GPT-4o用于评估和构建偏好数据。使用RAG Reward，我们训练奖励模型，并应用带有人类反馈的强化学习（RLHF）来提高LLM在RAG中的有效性。
🔸实验结果表明，我们的奖励模型在一个测试集上达到了最先进的性能，证明了我们方法的有效性和数据集的质量。此外，训练好的策略模型的发电质量的提高突显了使用RLHF增强RAG管道的可行性。详见https://huggingface.co/ datasets/HanningZhang/RAG-Reward-Modeling

🛎️文章简介

🔸研究问题：如何通过奖励建模和人类反馈强化学习（RLHF）来优化检索增强生成（RAG）系统的性能？
🔸主要贡献：论文贡献了一个高质量的数据集RAG-Reward，并提出了一种基于奖励建模和RLHF的方法来评估和提升RAG系统的生成质量。

📝重点思路

🔸数据选择：基于现有的RAG数据集（如WebGLM、Yelp和XSum），涵盖了问答、数据到文本和摘要三种常见RAG场景，使用GPT-4作为评判者，基于四个关键指标（幻觉、全面性、冗长性和归因性）对生成的响应进行比较和选择，构建了一个包含35K高质量偏好标注的数据集RAG-Reward。
🔸奖励模型训练：使用Llama-3.1-8B-Instruct作为基础模型，训练了一个Bradley-Terry奖励模型，学习从偏好数据中提取奖励信号。
🔸强化学习：采用RAFT算法进行偏好对齐，通过奖励模型选择最高奖励分数的响应，并对策略模型进行微调。
🔸实验评估：通过自评估和人类评估验证了数据集和奖励模型的有效性，并比较了现有奖励模型在RAG任务上的表现。

🔎分析总结

🔸奖励模型的有效性：训练的奖励模型在测试集上达到了83.8%的准确率，显示出其在RAG任务中的有效性。
🔸策略模型的改进：通过RAFT算法微调后的策略模型在生成响应时表现更好，平均胜率显著高于50%。
🔸现有奖励模型的局限性：现有的奖励模型在RAG任务上的表现不如在聊天、安全和推理任务上，表明RAG任务需要特定的训练数据和方法。
🔸数数据集的高质量：自评估和人类评估结果显示，GPT-4o的标注与人类标注的一致性率超过90%，证明了数据集的高质量和可靠性。

💡个人观点

论文的核心是论证RAG场景需要构建一套偏好数据用于对齐，并贡献了一个数据集训练奖励模型和策略模型。

🧩附录