论文 | Retrieval-Augmented Generation for Natural LanguageProcessing: A Survey 面向自然语言处理的检索扩展生成研究综述

最新推荐文章于 2025-11-08 17:56:59 发布
原创 最新推荐文章于 2025-11-08 17:56:59 发布 · 1.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #RAG

大型语言模型（LLMs）凭借其庞大的参数规模，在多个领域取得了显著成功，成为自然语言处理（NLP）的基础。然而，它们仍面临三大关键问题：

  1. 幻觉（Hallucination） —— 模型可能生成内容流畅但事实错误的回答；

  2. 知识更新困难 —— 更新模型内部知识需重新训练或微调，成本高昂；

  3. 缺乏领域专用知识 —— 通用 LLM 难以满足特定领域的专业需求。

为弥补这些不足，检索增强生成（RAG） 被提出，它通过引入外部知识库来增强 LLM 的能力。本文系统回顾了 RAG 的关键技术，尤其关注其核心模块——**检索器（retriever）与检索融合（retrieval fusion）**方法。

文章内容

  • 系统性地介绍了 RAG 的各个组成部分，包括从构建到查询的检索器细节，以及检索融合的技术，并提供了教程代码。

  • 展示了不同的 RAG 训练策略，包括带/不带数据存储更新的 RAG。

  • 进一步探讨了 RAG 在下游 NLP 任务和实际 NLP 场景中的应用。

  • 最后指出了 RAG 值得探索的未来方向以及亟需解决的主要挑战。

检索增强生成（Retrieval-Augmented Generation, RAG）概述

对 RAG 在自然语言处理（NLP）中的整体框架进行介绍。正如图 1 所示，RAG 通常由三个模块组成：检索器（retriever）、生成器（generator） 和 检索融合（retrieval fusions）。

1. 检索器模块（Retriever）
检索器通常包含三个核心组件：

  • 编码器（encoder）：将输入编码为向量表示（embeddings）。

  • 高效索引（efficient indexing）：支持近似最近邻搜索（Approximate Nearest Neighbor, ANN）。

  • 数据存储（datastore）：以键值对（key-value pairs）的形式存储外部知识。

检索器的主要挑战在于检索效率与检索质量之间的平衡：

  • 检索效率（retrieval efficiency）：指获取相关信息的速度，包括编码加速、索引优化、数据存储中的批量查询等。

  • 检索质量（retrieval quality）：指检索到信息的相关性，包括切分表示学习（chunk representation learning）、先进的近似最近邻搜索算法等。

2. 检索融合（Retrieval Fusions）
检索融合的目标是利用检索到的信息增强生成效果。主要分为三类：

  • 基于查询的融合（query-based fusion）：在将输入送入生成器之前，将检索结果拼接或注入到输入中。

  • 基于 logits 的融合（logits-based fusion）：在生成器输出层（logits）阶段进行融合，将检索结果的 logits 融合进来，使输出更鲁棒。

  • 潜在空间融合（latent fusion）：将检索结果的表示引入生成器的潜在表示中，从而在隐式层面提升模型性能。

3.生成器模块（Generator Module）

生成器模块可以分为两类：默认生成器（default generators）和检索增强生成器（retrieval-augmented, RA generators）。

默认生成器包括大多数经过预训练或微调的大型语言模型，如 GPT 系列模型、Mistral 模型 以及 Gemini 系列模型。检索增强生成器（RA generators）指的是在预训练或微调过程中包含检索融合模块的生成器，例如 RETRO 和 Enc-Dec 。这些生成器能够生成响应或进行预测。

RAG 的工作流程包括三个步骤：
(1) 根据给定输入，从外部数据库中检索相关信息；
(2) 基于融合技术，将检索到的信息与输入或中间状态进行融合；
(3) 生成器根据输入及相应的检索结果进行预测。

1.检索器（Retriever）

图 2 展示了使用检索器的两个阶段：首先是构建检索器，然后是查询检索器。接下来的章节将详细介绍每个阶段的具体内容。

使用大型自然语言语料库来构建一个检索器，该过程包括三个步骤：

  1. 语料切分（chunking corpus）；

  2. 编码切分块（encoding chunks）；

  3. 构建向量数据库（building the vector database）。

其中，构建向量数据库的过程包括建立 近似最近邻（Approximate Nearest Neighbor, ANN）索引，并以 键值对（key-value pairs） 的形式存储数据。

语料切分（Chunking Corpus）：语料切分技术通常指将大型文档划分为较小的文本块（text chunks）

其核心思想包括以下两点：
(1) 用于建立索引的文本或向量表示应当在语义上相对独立，每个块包含一个核心思想，便于模型编码。过短的文本往往语义模糊，例如单词 “apple” 可能指水果，也可能指公司；
(2) 使用基于 Transformer 的模型对长序列进行编码会造成巨大的计算与资源开销，而将文本分成较短的块可以显著加速编码过程并节省内存成本。

因此，语料切分的主要挑战在于如何找到最佳的块大小（chunk size），以在语义完整性与编码效率之间取得平衡。

为解决这一挑战，在确定切分大小时需要考虑以下三个关键因素：
(1) 任务特性（Task’s property）：不同任务可能适合不同类型的切分。例如，问答任务通常更适合短语级切分，而摘要任务则更偏好长文档切分。
(2) 编码器特性（Encoder’s property）：不同的编码器模型在处理不同长度文本时表现不同。例如，sentence-transformer更适合单句编码，而 text-embedding-ada-002 在处理长文本时表现更优。
(3) 查询特性（Query’s property）：用户查询的长度应与切分块的长度相匹配，以便使检索块中的上下文信息量与查询相协调，从而提高检索结果的相关性。例如，用短语构建的检索数据库对长文档查询几乎无效。

总的来说，并不存在统一的“最佳切分规则”，具体的切分策略应根据 RAG 的应用场景而定。

语料切分方法主要分为三类：

  1. 固定长度切分（Chunking with fixed length）：最简单的方法，通过设置一个长度超参数顺序地分割文档。

  2. 语义切分（Semantic chunking）：根据语义边界（如句号、换行符）划分文档，这些标记通常表示句子的结束。主流 NLP 工具包，如 NLTK 和 spaCy ，均提供了便捷的句子切分方法。

  3. 基于内容的切分（Content-based chunking）：根据文档的结构特征进行分块。例如，电子病历可以根据章节划分，程序代码可以按函数块分割。

检索融合（Retrieval Fusions）

检索融合（Retrieval Fusions）是指如何有效地利用已检索到的外部知识来提升生成模型（generator）的性能。
根据融合方式的不同，检索融合大致分为三类：

  1. 基于查询的融合（Query-based Fusion）

  2. 基于 logits 的融合（Logits-based Fusion）

  3. 基于潜在表示的融合（Latent Fusion）

融合方式位置优点缺点代表方法
文本拼接输入层简单直接、可用于黑箱 LLM长度限制明显GPT-4 + RAG prompt
特征拼接编码层表达力强内存成本高FID
logits 融合输出层提高鲁棒性与精度需访问 logits，不适用于黑箱kNN-LM, kNN-MT
融合类型引入位置特点优点代表方法
Logits 融合 - Ensemble输出层固定权重融合简单稳定kNN-LM, kNN-MT
Logits 融合 - Calibration输出层动态置信度调整提升翻译/生成可靠性Confidence-enhanced kNN-MT
Attention 潜在融合隐层（Cross-Attention）结构性强，效果突出高性能、高复杂度RETRO, Li [93], Wu [154]
Weighted-addition 潜在融合隐层（向量加权）轻量高效易扩展、低计算量EAE, ReFusion

生成器（Generators）

本节介绍了典型的生成器（Generators）与检索增强生成器（Retrieval-Augmented Generators, RA Generators）。
这些模型通常都在大规模数据集上进行预训练，是整个 RAG（Retrieval-Augmented Generation）框架的核心部分。

普通生成器（Default Generators）

目前主流的生成器基本上都是基于 Transformer 架构 的大型语言模型（LLMs），通过对 Transformer 结构进行裁剪或改进而形成不同的系列模型。

常见的代表模型包括：

  • LLaMA 系列模型

  • GPT 系列模型 

  • Gemini 系列模型 

这些模型的共同点是：
它们去掉了 Transformer 的编码器部分（Encoder），
仅保留解码器部分（Decoder），并在其中包含：

  • 注意力模块（Attention Module）

  • 前馈网络模块（Feed-Forward Network, FFN）

生成器通常主要采用潜在融合（latent fusion）的方式，将检索到的知识融入大型语言模型（LLM）的隐藏状态（hidden states）中。

RAG 训练（RAG Training）**主要讲述了如何训练检索增强生成模型（RAG），并将其分为两大类：

  1.  不更新数据存储的 RAG 训练（RAG without Datastore Update）
  2. 更新数据存储的 RAG 训练（RAG with Datastore Update）

Steiwe
关注
【大模型】「RAG，Retrieval-Augmented Generation」检索增强生成-全流程
强化学习曾小健
04-19 3401
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
【RAG综述系列】之 RAG 相关背景和基本原理
weixin_43837507的博客
03-24 1183
文章中回顾了 RAG 的基础概念，并分析当前模型所面临的关键挑战，为理解外部知识与语言生成的融合奠定基础。同时，深入探讨 RAG 的核心原理，详细介绍知识检索、整合和生成的流程。后续会进一步探讨前文提到的知识选择、检索效率及上下文推理等挑战，并分析其复杂性。还有介绍 RAG 的各种方法，包括传统的基于检索的模型，以及更高级的多模态方法，这些方法引入了更强的推理能力和记忆机制。并分析评估 RAG 系统的标准和数据集，并批判性地回顾现有的评测方法与指标。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术：综述(上）
m0_49651195的博客
06-23 1393
最大的挑战是，如何将检索到的文档有效的融入当前的生成任务中。当前的研究主要集中在智能结合不同的搜索技术，优化检索步骤，引入认知回溯概念，灵活运用多样化的查询策略，并利用嵌入式相似度。因此，在检索文档后加入一个额外的验证模块，该模块用来评估文档与查询之间的相关性，这样可以提升RAG的鲁棒性。额外生成模块： 面对检索内容中的冗余和噪声问题，这个模块通过大语言模型生成必要的上下文，而非直接从数据源进行检索。RAG 的组织方法具有高度灵活性，能够根据特定问题的上下文，对 RAG 流程中的模块进行替换或重新配置。
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
zhaoshuangxiang的专栏
12-16 1491
Yunfan , Yun Xiong , Xinyu , Kangxiang Jia , Jinliu , Yuxi , Yi Daia , Jiawei Sun , Meng Wang , and Haofen Wang Yunfan , Yun Xiong , Xinyu , Kangxiang Jia , Jinliu , Yuxi , Yi Daia , Jiawei Sun , Meng Wang , 和 Haofen Wang Shanghai Research Insti
RAG 检索增强生成 | 基本概念
求知若饥，虚心若愚。
01-27 2091
2020年5月，检索增强生成（RAG）框架在Meta发布的论文“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”中首次被提出。通过一种通用的微调方法赋予预训练的参数化记忆生成模型非参数化记忆，我们称之为检索增强生成（RAG）。建立了RAG模型，其中参数内存是一个预训练的seq2seq转换器，而非参数内存是维基百科的密集向量索引，使用预训练的神经检索器访问。【原文地址】
AI推介-大语言模型LLMs之RAG（检索增强生成）论文速览（arXiv方向）：2024.07.01-2024.07.20
小小帅
07-30 1102
在这项工作中，我们介绍了 ChatQA 2，这是一种基于 Llama3 的模型，旨在缩小开放式 LLM 与领先的专有模型（如 GPT-4-Turbo）在长语境理解和检索增强生成（RAG）能力方面的差距。这两项能力对于 LLM 处理大量信息至关重要，因为这些信息无法通过单一提示进行处理，而这两项能力又是相辅相成的，具体取决于下游任务和计算预算。
A Survey on Reasoning Agentic Retrieval-Augmented Generation for Industry Challenges论文解读
weixin_38252409的博客
07-01 974
Agentic RAG方法综述，主要该论文全面回顾了推理代理RAG方法，将其分为两个主要系统：预定义推理，其遵循固定的模块化管道以增强推理；以及代理推理，其中模型在推理过程中自主协调工具交互。我们分析了这两种范式下的代表性技术，涵盖架构设计、推理策略和工具协调。最后，我们讨论了关键研究挑战，并提出了未来方向，以提升推理代理RAG系统的灵活性、鲁棒性和适用性。
LLMs：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 5456
​ Paper：《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 目录 《Instruction Tuning for Large Language Models: A Survey—大型语言模型的指令调优的综述》翻译与解读 Abstract摘要 1 Introduction引言 2、Methodology方法 3、Datasets数据集：大多都是英文指令
论文分享|RAG理论-第一篇-概述
weixin_45783724的博客
07-14 2020
RAG理论笔记第一篇
【AI视野·今日NLP 自然语言处理论文速览 第七十六期】Fri, 12 Jan 2024
TomRen
01-29 2082
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 12 Jan 2024 Totally 60 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings Authors Hiroaki Yamagiwa, Yusuke Takase, Hidetoshi Shi
当视觉语言模型接收到相互矛盾的信息时，它会相信哪个信号？
Coovally_AI的博客
11-05 722
近年来，视觉语言模型（VLMs）在多种任务上展现出了令人印象深刻的能力，它们能够同时理解图像和文本信息，完成复杂的推理任务。来自 Megagon Labs 的研究团队通过构建五个包含图文冲突的测试数据集，对多款主流 VLM 模型进行了深入分析，揭示了这些模型在处理冲突信息时的内在偏见，并提出了有效的缓解策略。当模型在单一模态任务中表现不佳时，即使另一模态可用，仍会倾向于自己擅长的模态。例如在图连通性任务中，纯图像输入时的错误在添加文本后依然存在，表明模型本质上忽略了文本模态的潜在纠正信息。
【NLP】Penn Treebank 与 Parsing：让计算机看懂句子结构
2401_83026894的博客
11-07 611
语法树是理解句子结构的可视化工具Parsing是自动构建语法树的过程为句法分析提供了统一标准和训练数据PCFG让解析器学会在歧义中选择最合理的解释以后当你看到机器翻译、智能客服、语音助手答得又快又准时，不妨想想，在它的大脑里，很可能有一棵棵看不见的语法树，默默帮它看懂语言。最近几年，为了适应更加灵活复杂的语言结构，又更进一步——现在会使用神经网络RNN、LSTM、来学习和直接生成完整的话。它们不需要显式写规则，也不必只依赖统计句法树，而是直接从大规模语料学习模式。这种语法结构是隐式学到。
nanochat大语言模型讲解一
最新发布
rstroller的博客
11-08 778
摘要： 本文详细解析了nanochat大模型项目的训练设置与关键技术点。核心训练参数包括：矩阵学习率（0.02）实现参数差异化更新、梯度裁剪（阈值1.0）防止梯度爆炸、学习率调度（final_lr_frac=0.0）实现动态调整。模型采用meta设备初始化高效部署，支持混合精度（BF16）加速训练。训练轮数通过三级策略确定：直接指定＞目标FLOPs计算＞数据-参数比例计算，其中目标参数比（如Chinchilla的20）控制训练数据量。关键配置体现了大模型训练中对计算效率、稳定性和资源优化的平衡。
基于大语言模型（LLM）的多智能体应用的新型服务框架——Tokencake
hzp666的博客
11-04 978
Tokencake是首个以KV Cache 为中心、专为LLM 多智能体应用设计的服务框架。通过智能体感知的空间分区与预测驱动的时间卸载/加载机制，有效解决了多智能体场景下的资源争用与缓存闲置问题，在真实负载下显著优于现有系统。原文：大型语言模型（LLM）正越来越多地应用于需要外部函数调用的复杂多智能体场景中。这类工作负载给KV Cache带来了严峻的性能挑战：空间竞争会导致关键智能体的缓存被驱逐，而时间利用率低下使得运行工具调用等待期间，停滞的智能体缓存长时间闲置于GPU内存中。针对上述挑战，
有关 Vision-Language Models 攻击的经典工作
m0_52739647的博客
11-05 862
本文系统性梳理了视觉语言模型(VLM)的安全脆弱性和攻击方法。
Ollama：在本地运行大语言模型的利器
haoyuxuanyuan的博客
11-08 892
Ollama 是一款开源工具，旨在极大地简化在个人计算机上下载、设置和运行大型语言模型（LLM）的过程。它将复杂的模型配置、依赖管理和硬件加速设置打包成一个简单易用的命令行工具，让开发者和爱好者能像运行 Docker 容器一样，轻松地在本地部署和交互各种强大的开源 LLM
人工智能：大语言模型或为死胡同？拆解AI发展的底层逻辑、争议与未来方向
2403_87969572的博客
11-07 1047
当GPT生成流畅文案、SORA渲染超写实视频，当AI在国际数学奥林匹克竞赛中摘金，整个世界都在为大语言模型（LLM）的“震撼性突破”欢呼时，刚拿下图灵奖的**强化学习之父 理查德·沙顿**，却抛出了一句足以颠覆行业认知的话：“**大语言模型可能是一条死胡同**。”
ICML 2025｜基于大语言模型的多比特文本水印方法
欢迎来到道的世界
11-05 803
这些结果表明，本文方法不仅能够在词汇替换和语义重组等自然语言变化下保持稳定的水印信号，还具备良好的自适应恢复能力，充分验证了其在真实语言环境中的鲁棒性与可靠性。研究通过两种语义一致但风格差异微小的LLM改写器交替生成文本，实现了隐蔽的多比特水印嵌入，并结合PPO强化学习实现改写器与检测器的协同优化，使文本既自然流畅又可高精度解码。研究者训练了两种风格略有差异的语言模型改写器，让它们在保持原文意思不变的同时生成具有可识别特征的文本，从而实现高效的信息嵌入与提取。表示语义编码器或基于大型语言模型的改写函数。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
01-13
The method of retrieval-augmented generation (RAG) for knowledge-intensive natural language processing tasks aims to combine the strengths of dense vector representations with sparse exact match ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值