[论文精读]Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented

0x211

已于 2024-09-17 22:11:57 修改

阅读量915

点赞数 8

分类专栏：论文精读文章标签：语言模型人工智能自然语言处理

于 2024-09-15 21:38:51 首次发布

本文链接：https://blog.csdn.net/m0_52911108/article/details/142203206

版权

论文精读专栏收录该内容

10 篇文章 0 订阅

订阅专栏

会议名称：The 62nd Annual Meeting of the Association for Computational Linguistics （ACL 2024）

发布链接：http://arxiv.org/abs/2402.18150

1.摘要

检索增强生成（RAG）通过整合来自检索的附加信息来增强大型语言模型（LLM）。然而，研究表明，大语言模型在有效利用检索信息方面仍然面临挑战，甚至会忽略检索信息或被检索信息误导。其关键原因在于，对 LLM 的训练并不能让 LLM 明确学会如何利用输入的不同质量的检索文本。在本文中，我们提出了一个新的视角，将 LLMs 在 RAG 中的角色视为 "信息提炼者"，即无论检索文本的正确性、完整性或有用性如何，LLMs 都能持续整合检索文本中的知识和模型参数，生成比检索文本更简洁、准确和完整的文本。为此，我们提出了一种名为 INFO-RAG 的信息提炼训练方法，以无监督的方式优化 RAG 的 LLM。INFO-RAG 成本低，适用于各种任务。对 11 个数据集的zero-shot预测进行的广泛实验表明，INFO-RAG 可将 LLaMA2 的性能平均提高 9.39% 。INFO-RAG 在上下文学习和鲁棒性方面也显示出 RAG 的优势。

2.研究背景

LLM（如 GPT、BERT 等）在许多生成任务中表现优异，但它们往往依赖于预训练过程中学到的内部知识，这会导致在面对知识密集型任务时出现信息不足或过时的情况。因此检索增强生成（RAG）方法被提出，它通过实时从外部知识库中检索相关文档来增强语言模型的生成能力。

然而，现有的 RAG 模型通常依赖于大量的监督数据进行训练，即需要人工标注的问题-答案对或相关的文档匹配。由于标注数据的获取成本较高，尤其在知识密集型领域，研究者开始探索无监督训练方法，试图通过自动化的方式来提升 RAG 模型的性能。

RAG论文阅读：[论文精读]Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks-CSDN博客

一句话总结：不管是DPR还是RAG的训练都依赖于各种方面开销比较大的有监督学习，为降低成本，得到了本片论文。

3.核心贡献

该论文的核心贡献是提出了一种基于无监督信息精炼（Unsupervised Information Refinement）的训练框架，旨在增强语言模型与检索到的外部知识库之间的结合效果。具体来说，该方法通过以下几个步骤来优化模型：

自动生成候选文档：通过检索模块自动从大规模文档库中提取与生成任务相关的文档，作为候选信息源。
信息精炼与过滤：提出了一种无监督的信息精炼技术，模型在生成过程中自动评估检索到的文档质量，筛选出与目标任务最相关的文档，同时剔除无用或错误的信息。
生成增强：通过精炼的外部信息与模型内在知识的结合，提升生成任务的准确性和信息丰富性。

4.方法概述

4.1场景分析

文章对RAG检索得到的文本划分为三种情况，并定义了每种情况的正信息增益。

文章引入了一个新的视角来重新评估 LLMs 在 RAG 中的角色,即 LLMs 应该是 RAG 信息流中能够产生 "积极信息增益 "的 "信息提炼者"。

场景1：问题的所有知识都已存在于检索文本中，这种情况下的正信息增益意味着 LLM 在去除无关信息的同时尽可能地提取正确的知识,从而为用户生成更直接、更简洁的文本。
场景2：检索到的文本包含一些可用的知识,但仍有一些不完整或不正确的知识（假新闻、碎片化知识等），LLMs 可以利用其参数范围内的知识来验证检索文本中的知识,从而获得积极的信息增益。利用准确的知识,纠正错误的知识,补全缺失的知识
场景3：检索到的文本中没有任何可以用来解决问题的答案，积极的信息增益是 LLMs 可以根据语义相关的上下文激发其参数范围内的知识,从而解决问题

4.2无监督学习

在维基百科上收集文档数据并随机截断，获取前缀与目标文本，下面依据收集到的前缀信息对模型进行无监督训练。以下三种处理对应上文提及的三种场景

保留有用信息，此时只需要简短化即可
对文本进行随机掩藏或者替换，来模拟网络上出现的各种假新闻、错误信息等
删除相关信息，激发LLM根据上下文进行答案的生成

最终结合内部知识（图中的前缀sl）以及检索到的外部文档（图中大括号括起来的S、S'、S-{sl}）生成回答。

4.3信息精炼与过滤

相关性评估：通过无监督学习的方式，模型能够自动评估检索到的文档是否与当前的生成任务相关。这一步骤是通过对生成输出与候选文档内容的一致性进行匹配来实现的，模型会根据匹配度对文档进行打分。
多轮精炼：模型会多次迭代生成和检索的过程，在每一轮迭代中对候选文档进行进一步的过滤和精炼，保留最相关的文档。这种多轮交互的方式使得模型能够更好地过滤掉冗余或误导性的信息。
信息融合：在精炼之后，生成模块结合内部知识和精炼后的外部信息进行生成，从而生成更加准确和丰富的内容。