RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation

本文是LLM系列文章，针对《RAG Foundry: A Framework for Enhancing LLMs for Retrieval
Augmented Generation》的翻译。

摘要

实现检索增强生成（RAG）系统本身就很复杂，需要对数据、用例和复杂的设计决策有深入的理解。此外，评估这些系统带来了重大挑战，需要通过多方面的方法评估检索准确性和生成质量。我们介绍RAG FOUNDRY，这是一个开源框架，用于增强RAG用例的大型语言模型。RAG FOUNDRY将数据创建、训练、推理和评估集成到一个工作流程中，便于创建数据增强数据集，用于在RAG环境中训练和评估大型语言模型。这种集成实现了各种RAG技术的快速原型制作和实验，使用户能够使用内部或专业知识源轻松生成数据集和训练RAG模型。我们通过用不同的RAG配置增强和微调Llama-3和Phi-3模型来证明框架的有效性，展示了三个知识密集型数据集的一致改进。代码以开源形式发布于https://github.com/IntelLabs/RAGFoundry.

1 引言

2 相关工作

3 RAG Foundry

4 实验：RAG调整

5 结论

我们介绍了RAG FOUNDRY，这是一个开源库，专门用于LLM的RAG增强任务，即微调LLM，使其在RAG设置中变得更好。该库旨在作为一个端到端的实验环境，使用户能够快速原型化和实验不