论文链接：https://arxiv.org/pdf/2402.19473v1
尽管AIGC取得了显著的性能，但仍面临着如保持最新和长尾知识困难、数据泄露风险以及训练和推理成本高昂等挑战。检索增强生成（RAG）作为一种范式应运而生，通过从可用数据存储中检索相关信息来增强AIGC结果，从而提高准确性和鲁棒性。本论文深入探讨了RAG技术如何通过结合信息检索过程来增强AIGC的结果，从而提高生成内容的准确性和鲁棒性。
人工智能咨询培训老师叶梓 转载标明出处
基础知识
如Fig. 1所示RAG系统由两个核心模块构成：检索器和生成器。检索器负责从构建的数据存储中搜索相关信息，而生成器则负责产出生成内容。工作流程通常开始于检索器接收输入查询，搜索相关信息；然后，原始查询和检索结果通过特定的增强方法输入到生成器中；最终，生成器产生所需的结果。
在RAG系统中，生成器的作用至关重要。根据不同的场景，会选用不同类型的生成模型。例如，文本到文本的任务可能会采用Transformer模型，图像到文本的任务可能会使用VisualGPT，文本到图像的任务可能会采用Stable Diffusion，而文本到代码的任务则可能会使用Codex。这些生成模型根据其结构被分为四类：Transformer模型、LSTM、扩散模型和生成对抗网络（GAN）。
Transformer模型是自然语言处理领域的一个创新设计，它由自注意力机制、前馈网络、层归一化模块和残差网络组成。这种模型能够处理序列数据，并通过注意力机制捕捉输入数据中的长距离依赖关系。
LSTM（长短期记忆）模型是一种特殊的循环神经网络（RNN），它通过引入细胞状态和门机制来克服RNN在处理长期依赖信息时的梯度爆炸或消失问题。LSTM模型包含输入门、遗忘门、输出门和细胞状态，这些组件通过控制信息流来更新细胞状态，使模型能够记忆长期依赖信息。
扩散模型是一类深度生成模型，它们通过逐步向数据中添加噪声直到数据变得随机，然后逆转这一过程从噪声中生成新数据。这个过程基于概率建模和神经网络。
GAN（生成对抗网络）是一种深度学习模型，它们通过生成器和判别器之间的对抗学习来模拟和生成逼真的图像、音频等数据。这两部分通过竞争，使得生成器不断提高生成真实样本的能力，而判别器则不断提高区分真假样本的能力。
这些生成模型的选择和应用，为RAG系统提供了强大的生成能力，使其能够在多种任务中生成高质量的内容。
方法
RAG 基础的分类
RAG根据检索过程与生成过程的交互方式分为四大类。这种分类有助于我们理解不同RAG方法的特点和适用场景。
基于查询的 RAG（Query-based RAG）
这种方法，也被称作提示增强（prompt augmentation），涉及将用户的查询与检索到的文档内容相结合，然后直接作为输入提供给预训练的语言模型。这样，模型就能够在生成响应时利用检索到的信息，从而提高生成内容的相关性和准确性。
例如，REALM 模型采用了双BERT框架，通过一个BERT模块处理输入问题和文档，以便于检索，然后使用另一个BERT模块生成综合响应。RAG模型则结合了DPR（Dense Passage Retriever）和BART（Bidirectional Auto-encoder Representations from Transformers），利用检索到的文档信息进行文本生成。
基于潜在表示的 RAG（Latent Representation-based RAG）
在基于潜在表示的RAG框架中，重点在于如何利用检索到的信息的潜在特征来增强生成模型的性能。这里的"潜在表示"指的是数据的内在特征，这些特征通常通过编码器（如神经网络）转换为高维空间中的向量。生成模型通过与这些潜在表示的交互，能够更深入地理解检索到的信息，从而提高生成内容的相关性和质量。
基于Logit的 RAG（Logit-based RAG）
基于Logit的RAG关注于在生成模型的解码阶段如何结合检索信息。在这种框架下，检索到的信息通过Logit（模型输出概率的对数几率）的形式与生成过程相结合。这通常涉及到将检索到的信息的Logit与生成模型当前步骤的Logit相结合，以产生每一步生成的概率分布。
推测性 RAG（Speculative RAG）
推测性RAG的核心思想是在可能的情况下使用检索来代替生成，以此作为一种节省资源和加速响应速度的策略。这种方法特别适用于生成草案或解决使用大型语言模型API时的高延迟问题。
RAG 增强
检索增强生成（RAG）系统的增强方法分为5组。这些方法旨在提升RAG系统在各个阶段的性能，从输入处理到最终结果的生成。
输入增强
在提升检索增强生成（RAG）系统的性能方面，输入增强扮演着至关重要的角色。它主要包含查询转换和数据增强两个方面。
查询转换是一种技巧，它通过修改原始的用户查询来丰富信息内容，从而提高检索的相关性。例如，Query2doc方法会根据用户的查询生成一个伪文档，这个伪文档随后被用作检索的输入。这种方法的优势在于，伪文档能够提供比原始查询更丰富的上下文信息，有助于检索系统更准确地找到用户所需的信息。同样，HyDE方法也采用了类似的策略，通过生成的伪文档来引导检索过程。
数据增强则是在检索过程之前对数据进行预处理，以提升数据的质量和相关性。这可能包括去除无关信息、消除歧义、更新过时的文档，甚至合成新的数据。通过这些方式，可以显著提高RAG系统处理信息的效率和最终输出结果的质量。
检索器增强
在检索器增强方面，递归检索通过将复杂查询分解为多个子查询，并分别进行检索，以获得更丰富和更准确的信息。这种方法能够逐步深入地探索问题的不同方面，从而提供更全面的答案。
块优化技术通过调整检索时使用的文本块的大小来改进结果。例如，Sentence-window retrieval通过检索与目标句子周围的相关句子窗口来增强上下文理解。Auto-merge retrieval则通过组织文档为树状结构，在检索过程中合并子节点的内容，以提供更丰富的信息。
微调检索器是通过使用特定领域的高质量数据来优化检索模型，使其能够更精确地捕捉到领域相关的语义信息，从而提高检索结果的相关性和准确性。
混合检索结合了多种检索方法的优势，例如RAPGen和ReACC结合了密集和稀疏检索器，以利用各自的长处，提高检索的质量和效率。
重新排序技术在检索完成后对结果进行再次排序，以确保检索结果的多样性和准确性。这有助于减少信息丢失对检索质量的影响，并提高最终结果的相关性。
最后，元数据过滤使用检索结果的元数据，如时间戳、目的等信息，来过滤和选择最相关的文档，进一步提升检索的准确性和系统的总体性能。通过这些综合的增强手段，RAG系统能够更有效地处理复杂的查询，并生成更高质量的输出。
生成器增强
生成器增强是提升RAG系统性能的另一关键方面。它涉及一系列技术，旨在改善大型语言模型（LLMs）的输出质量。
首先，提示工程（Prompt Engineering）是一组技术，专注于优化模型的输入提示，以提高生成的准确性和相关性。例如，Prompt compression技术通过压缩查询来加速模型的推理过程，减少不相关信息的干扰。而Chain of Thought Prompt技术则通过提供问题的解决步骤作为提示，引导模型生成更全面和逻辑性强的答案。
其次，解码调整（Decoding Tuning）在生成器的解码阶段引入额外的控制机制。这可能包括调整超参数，如温度（temperature），以控制输出的多样性，或者限制输出词汇表，以避免生成不相关或不合适的内容。
微调生成器（Finetune Generator）是另一种技术，它通过使用特定领域的数据对模型进行进一步训练，以增强模型对该领域的理解和适应性。这有助于提高模型在特定任务或领域中的性能，使其生成的内容更加专业和准确。
结果增强
结果增强（Result Enhancement）则关注于改进RAG系统的最终输出。重写输出（Rewrite Output）技术通过修改生成的结果，使其更好地适应实际应用场景。例如，在代码生成任务中，可以使用特定的分类器来识别并修改生成的代码，以确保其正确性和适应性。此外，通过基于平均对数概率的重排序，可以增加结果的多样性。
RAG流程增强
在RAG流程增强（RAG Pipeline Enhancement）方面，自适应检索（Adaptive Retrieval）是一种智能决定是否执行检索的方法。这种方法根据模型对其知识掌握程度的置信度来决定是否需要进行检索。这包括基于规则的方法，如FLARE，它根据生成过程中的概率来决定是否搜索，以及基于模型的方法，如Self-RAG，它使用训练好的生成器来判断是否需要检索。
迭代RAG（Iterative RAG）是一种使用迭代检索-生成流程的技术。这种方法通过在每次迭代中不断优化检索和生成的过程，来充分利用分散在不同文件中的有用信息。例如，RepoCoder通过迭代检索和生成来改进代码补全任务，它在每次迭代中将先前生成的代码作为检索查询的一部分，以获得更准确的检索结果，并据此生成更高质量的代码。
这些增强方法为RAG系统提供了一套全面的工具，以应对不同应用场景中的挑战，从而提升系统的整体性能和生成内容的质量。通过这些方法的应用，RAG系统能够更加智能和高效地处理复杂的生成任务。
应用
文本领域的RAG应用
问答系统 利用RAG技术，系统能够从大量文本资源中检索相关信息，以回答提出的问题。例如，FID和REALM模型通过检索最相关的文本片段，并将这些片段与问题一起输入到大型语言模型中，生成多个回答，然后综合这些回答得出最终答案。
事实验证 RAG技术在验证信息的真实性方面发挥重要作用，特别是在处理社交媒体和在线新闻平台上的大量未经核实的信息。
常识推理 通过整合知识图谱中的复杂概念关系，RAG技术帮助模型进行更细致、逻辑上更连贯的句子构建，从而提高常识推理能力。
人机对话 RAG技术通过检索和整合互联网上的相关内容，增强了对话系统的质量，使机器能够更自然地与人类进行对话。
神经机器翻译 RAG技术在机器翻译任务中的应用，通过检索系统提供充足的信息，同时优化检索机制和翻译模型，提高了翻译的准确性。
事件抽取 RAG技术帮助系统从非结构化文本数据中识别和提取特定类型的事件实例，如通过检索相关问题-答案对来丰富给定问题的上下文。
摘要生成 RAG技术在文本摘要任务中的应用，通过提取或生成文本的关键信息，帮助用户快速把握文本的主要内容。
代码领域的RAG应用
RAG技术的应用集中在软件工程的关键任务上，如代码生成、代码摘要、代码自动补全和自动程序修复。这些任务通常结合检索和生成技术，以提高输出代码的准确性和相关性。例如，REDCODER模型通过检索相似的自然语言描述来增强代码生成过程，而APICoder和DocPrompting等模型则利用检索到的API文档和相关文档来构建更丰富的生成提示。
音频领域的RAG应用
RAG技术被用于音频生成和音频字幕生成任务。ReAudioLDM模型便是一个例子，它通过检索与输入提示相关的音频-字幕对，并结合这些信息来生成输出音频，从而提高了音频生成的自然度和相关性。
图像领域的RAG应用
RAG技术的应用包括图像生成和图像字幕生成。RetrieveGAN模型利用可微分检索过程选择其他图像中兼容的补丁作为生成的参考，从而生成与文本描述相符的图像。这种方法不仅提高了图像生成的准确性，还增加了图像的多样性。
视频领域的RAG应用
RAG技术被用于视频字幕生成和视频生成任务。R-ConvED模型便是一个例子，它使用检索增强机制来辅助单词预测，提高了视频字幕的准确性和流畅性。
3D领域的RAG应用
RAG技术的应用正在探索如何生成3D内容。ReMoDiffuse模型使用扩散模型来生成动作，并检索相关的运动实体以增强生成过程，这为3D动画和模拟提供了新的可能性。
知识领域的RAG应用
RAG技术被应用于知识库问答和知识图谱补全等任务。这些任务通常利用知识图谱作为检索源，以增强生成过程的准确性和深度。
科学领域的RAG应用
RAG技术正在被用于药物发现和医学应用等跨学科领域。例如，RetMol模型结合检索机制来控制分子生成，这为药物设计和分子生物学研究提供了新的工具。
基准测试
论文中由Chen等人提出的RAG基准测试，这是一个全面的评估工具，它从四个关键维度来考察RAG系统的能力。这四个维度包括：
噪声鲁棒性：测试大型语言模型（LLMs）是否能够从含有噪声的信息中提取出对回答问题有用的内容。噪声信息可能与查询相关，但对于解答问题并无实际帮助。
负样本拒绝：评估LLMs在检索到的内容不足以回答问题时，是否能够选择不回答。
信息整合：衡量LLMs是否能够通过整合多个检索到的内容来获取知识，并据此作出响应。
反事实鲁棒性：评价LLMs识别检索内容中可能存在的反事实错误（即与真实情况相反的错误）的能力。
论文提出三个基准测试工具：RAGAS、ARES和TruLens。这些工具关注的评估方面各有侧重：
忠实度：关注在能够从检索内容中推断出正确答案的情况下，结果中是否存在事实错误。
答案相关性：衡量生成的结果是否真正解决了提出的问题。
上下文相关性：判断检索内容是否为回答查询提供了尽可能多的相关知识，同时尽量减少不相关信息。
论文介绍了CRUD-RAG基准测试，这是一个将RAG任务分为创建（Create）、读取（Read）、更新（Update）和删除（Delete）四类，并针对每类任务使用不同的评估方法的框架。例如，在代码生成任务中，可能会使用文本继续或问答等方法来评估系统性能。
尽管RAG技术在多个领域展现出巨大潜力，但仍存在一些挑战，包括检索结果中的噪声、系统额外开销、检索与生成组件间的交互问题，以及长文本生成的难题。这些问题提示了RAG技术在实现最优性能方面还有待进一步的研究和改进。
这些挑战也带来了机遇。在未来研究方向中，作者们提出了一系列可能的解决方案和改进方向。这包括开发更先进的RAG方法论，以更好地整合检索和生成过程；探索新的增强技术，以提高系统在特定任务上的表现；以及研究如何高效地部署和处理RAG系统，以减少延迟并提高性能。
1234
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
