本文是LLM系列文章,针对《Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation》的翻译。
摘要
检索增强生成(RAG)通过合并来自检索的附加信息来增强大型语言模型(LLM)。然而,研究表明,LLM在有效使用检索到的信息方面仍然面临挑战,甚至忽视或被其误导。关键原因是LLM的训练并没有清楚地使LLM学会如何使用不同质量的输入检索文本。在本文中,我们提出了一个新的视角,将LLM在RAG中的作用视为“信息精炼器”,这意味着无论检索到的文本的正确性、完整性或有用性如何,LLM都可以始终如一地将知识整合到检索到的文本和模型参数中,以生成比检索到的更简洁、准确和完整的文本。为此,我们提出了一种名为INFO-RAG的信息细化训练方法,该方法以无监督的方式优化RAG的LLM。INFO-RAG是一种低成本、通用的各种任务。对11个数据集在不同任务(包括问答、Slot-Filling、语言建模、对话和代码生成)中的零样本预测进行的广泛实验表明,INFO-RAG平均将LLaMA2的性能提高了9.39%的相对点。INFO-RAG在上下文学习和RAG的稳健性方面也显示出优势。