RAG综述性论文: Retrieval-Augmented Generation for Large Language Models: A Survey

已于 2024-07-17 23:33:22 修改
阅读量1.5k 收藏 20
点赞数 30
分类专栏： 检索增强生成(RAG) 文章标签： 语言模型 人工智能 自然语言处理
于 2024-07-17 18:19:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54878690/article/details/140502037
版权

原文链接: [2312.10997] Retrieval-Augmented Generation for Large Language Models: A Survey (arxiv.org)

Introduction:

  1. 近年来大语言模型(LLM)在NLP领域展现了强大的能力, 在多个评估基准上展现了卓越的语言掌握和知识理解能力; 但在处理特定领域, 知识密集型任务, 时代型知识时, 大语言模型可能无法提供准确答案, 产生严重的幻觉, 这种黑盒式, 已训练好的模型不能及时的获取相关的知识.

  2. 微调解决上述问题取得了显著成效, 即将大量的特定领域专有知识灌输给LLM, 对该模型进行微调, 将知识参数化. 尽管SFT操作取得显著成效, 但是却有着许多的局限性: 需要消耗大量的计算资源, 成本很高, 在这种高成本消耗的情况下难以适应不断变化的信息环境; SFT将知识参数化训练给LLM, LLM将这种参数化的知识转化为不同参数的权重存储, 这导致在数据库中不常见但又很具体的知识难以保留在大语言模型中;

  3. 为了解决Fine-turning所带来的问题, RAG(检索增强生成)被提出. RAG动态地从外部知识库中检索信息, 并利用检索到的数据作为组织答案的参考(添加至prompt中), 这项技术极大地提高了答案的准确性与相关性, 且允许将已经微调好的基础大模型应用于不同的专业领域/最新知识库中, 即将LLM的强大语言理解功能与检索模块的灵活性相结合起来.

RAG总览:

RAG的一个典型应用实例如Fig.2. 将chatGPT与RAG相结合.

RAG的发展历程主要分为3个部分: 初级RAG, 高级RAG, 模块化RAG. 如Fig.3

初级RAG(Naive RAG):

  1. 三个主要步骤:

    1. 指标化(Indexing): 将不同格式的原始数据进行清洗, 提取, 转化为统一的纯文本格式, 将文本转化为语块, 通过Embedding模型将语块编码为向量表示并存储在向量数据库中;

    2. 检索(Retrieval): 计算查询向量(也就是User的Query)与检索语料库中语块的向量间相似度分数, 并将top_k个块排序后送入prompt中;

    3. 生成(Generation): 大语言模型负责根据prompt来制定相关的相应.

  2. 局限性:

    1. 检索质量: 检索库中的文档库相关度低而导致的信息错误; 数据冗余而导致的信息不准确.

    2. 回应生成质量: 这part的问题多种多样, 主要问题是缺乏足够的上下文而导致的幻觉(虚构答案).

    3. 增强过程: 最重要的挑战即如何有效地将文端的上下文融入至当前的生成任务中. 如果处理不当会导致生成内容的逻辑性不足.

高级RAG(Advanced RAG):

以提高检索质量方面为核心, 引入了预检索(Pre-Retrieval)和后检索(Post-Retrieval)的方法.

  1. 预检索阶段(两大方向):

    1. 优化索引结构, 提升标号数据的质量.

    2. 优化原始查询(Original Query), 使用户的原始问题更加清晰, 更加适合检索任务.

  2. 后检索阶段(两大方向):

    如果一次性向LLM展示所有相关文档可能会超出上下文窗口限制.

    1. 重新排序(ReRank): 将最相关的信息置于prompt的前后边缘, 这一思路已在LlamaIndex, LangChain等框架中应用.

    2. Prompt压缩: 检索文档中的噪音会对RAG性能造成不利影响, 在该阶段将无关紧要的上下文压缩, 凸显关键段落.

模块化RAG(Modular RAG):

模块化 RAG 结构打破了传统的RAG框架，这个框架原本仅涉及索引, 检索, 生成. 现在提供了更广泛的多样性和更高的灵活性, 它集成了各种方法来丰富功能模块.

检索器(Retrieval):

RAG中的R即为Retrieval, 如何从大量知识库中检索出最相关的top_k个文档至关重要. 三个关键问题: 准确的语义表示; 匹配Query和文档的语义空间; 协调Retrieval与LLM间的偏好.

概念扫盲_语义空间: Embedding模型将文本或者语言表达的意义映射到一个多维向量空间。在这个向量空间里，每个单词、短语或文档都被表示为一个向量，这些向量的位置反映了它们之间的语义关系。具体来说，语义相似的项在向量空间中会距离较近，而不相似的项则距离较远。

  1. 准确的语义表示

    1. 块优化: 找到合适语料库文档的最佳块大小, 如滑动窗口技术, 摘要嵌入技术, 元数据过滤技术.

    2. 微调Embedding模型: 确定了Chunk的适合大小后, 通过Embedding模型将Chunk和Query嵌入至语义空间中. 通过微调Embedding模型来更好的满足下游应用是很重要的.

  2. 匹配Query和文档的语义空间:

    1. 查询重写

    2. Embedding变换

  3. 调整Retrieval来使用LLM的需求:

    1. LLM监督下的训练

    2. 插入适配器

生成组件(Generation):

将检索到的信息转化为自然流畅的文本。这一设计灵感源自于传统语言模型，但不同于一般的生成式模型，RAG 的生成组件通过利用检索到的信息来提高文本的准确性和相关性。

  1. 在 RAG 中, 生成组件的输入不仅包括传统的上下文信息, 还有通过检索器得到的相关文本片段。这使得生成组件能够更深入地理解问题背后的上下文, 并产生更加信息丰富的回答.

  2. 生成组件会根据检索到的文本来指导内容的生成, 确保生成的内容与检索到的信息保持一致.

  3. 优化生成组件的输入数据主要通过后检索处理.

增强过程(Argumentation):

在该过程中主要涉及到一系列的策略和技术, 以提升RAG技术的性能, 准确度, 生成文本的相关性和丰富性. 主要是通过优化检索过程来增强(Fig.5):

  1. 迭代检索(Iterative): 在检索和生成之间不断交替, 允许在每一步/每次交替都可以有效地从知识库中获得更丰富和更有针对性的上下文.

  2. 递归检索(Recursive): 逐步细化用户查询, 将问题分解为子问题, 通过检索和生成不断解决复杂问题.

  3. 自适应检索(Adaptive): 自适应检索侧重于使RAG技术能够自主地决定是否需要外部知识检索以及何时停止检索和生成, 通常利用LLM生成的特殊令牌进行控制.

未来展望:

RAG技术取得了显著进展, 但在垂直领域仍有几个重点方向.

  1. 上下文处理问题: RAG在生成内容时受限于LLM的上下文窗口大小. 但目前LLM的上下文尺度在不断扩张, RAG如何适应这一变化是一个重点问题.

  2. 如何进一步克服噪声.

  3. RAG与Fine-turning的协同作用. RAG技术是为了解决Fine-turning的弊端, 但两者相结合可以产生更好的效果.

 目前为研0新生补基础ing, 由于LLM项目中用到了RAG技术, 故来学习一下这方面的知识. 该博客是很浅薄的一些理解旨在帮助构建理解RAG技术的整体框架, 如有错误请大佬们指点, 文中差错与不足会在知识学习层次更进一步时来修改.

哞哞牧场
关注
专栏目录
A Survey on Retrieval-Augmented Text Generation for Large Language Models
c_cpp_csharp的专栏
08-17 107
检索增强生成（RAG）将检索方法与深度学习技术相结合，通过动态集成最新的外部信息来解决大型语言模型（LLM）的静态局限性。这种方法主要侧重于文本领域，为LLM生成看似合理但不正确的响应提供了一种经济高效的解决方案，从而通过使用真实世界的数据来提高其输出的准确性和可靠性。随着RAG复杂性的增加，并引入了可能影响其性能的多个概念，本文将RAG范式分为四类：预检索、检索、后检索和生成，从检索的角度提供了详细的视角。它概述了RAG的演变，并通过分析重要研究讨论了该领域的进展。
Retrieval-Augmented Generation for Large Language Models: A Survey
c_cpp_csharp的专栏
01-19 399
大型语言模型（LLM）展示了强大的能力，但面临着幻觉、过时的知识以及不透明、无法追踪的推理过程等挑战。通过整合来自外部数据库的知识，检索增强生成（RAG）已成为一种很有前途的解决方案。这增强了模型的准确性和可信度，特别是对于知识密集型任务，并允许持续更新知识和集成特定领域的信息。RAG将LLM的内在知识与外部数据库的庞大动态存储库协同融合。这篇全面的综述论文对RAG范式的进展进行了详细的研究，包括Naive RAG、Advanced RAG和Modular RAG。
《Retrieval-Augmented Generation for Large Language Models: A Survey》 AI 解读
明明如月的技术博客
04-01 1416
论文标题：《Retrieval-Augmented Generation for Large Language Models: A Survey》
Retrieval-Augmented Generation for Large Language Models: A Survey RAG 快速解读-图解
weixin_44287798的博客
05-31 991
RAG综述解读 Retrieval-Augmented Generation for Large Language Models: A Survey
RAG综述 《Retrieval-Augmented Generation for Large Language Models: A Survey》笔记
beingstrong的博客
03-10 3159
RAG(Retrieval-Augmented Generation)综述 [Retrieval-Augmented Generation for Large Language Models: A Survey](https://arxiv.org/abs/2312.10997) 粗略笔记
【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey
STAR GAME
03-29 1491
LLM检索增强的新范式
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8240
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models
c_cpp_csharp的专栏
09-15 132
作为 AI 中最先进的技术之一，检索增强生成 （RAG） 可以提供可靠和最新的外部知识，为众多任务提供巨大的便利。特别是在 AI 生成内容 （AIGC） 时代，在提供额外知识方面的强大检索能力使 RAG 能够协助现有的生成式 AI 生成高质量的输出。最近，大型语言模型 （LLM） 在语言理解和生成方面表现出革命性的能力，但仍然面临固有的限制，例如幻觉和过时的内部知识。
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1723
面向LLM的RAG技术：综述
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1053
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 1044
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1161
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
最新发布
专注MarTech应用研究与实施方案
09-17 591
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1501
opencv学习：calcHist 函数绘制图像直方图及代码实现
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 1008
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 689
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
数据爬虫中遇到验证码的解决方法
sheji888的专栏
09-17 880
数据爬虫中遇到验证码是一个复杂而常见的问题，需要综合考虑多种因素并采取合适的解决策略。通过避免触发验证码、手动输入验证码、使用验证码识别技术、绕过验证码机制以及采用分布式爬虫和代理IP等方法，可以在一定程度上提高爬虫的稳定性和效率。然而，需要注意的是，爬虫的使用必须遵守相关法律法规和网站爬虫协议的要求，确保数据抓取活动的合法性和合规性。
retrieval-augmented generation
12-09
retrieval-augmented generation（RAG）是一种结合信息检索和生成模型的方法，旨在解决生成式模型的信息获取不足和信息检索模型生成能力限制的问题。该方法通过将大规模预训练的检索模型和生成模型相结合，以实现更准确和丰富的文本生成。 在RAG中，检索模型负责从大型语料库中检索相关的文本片段或知识片段，然后将这些片段提供给生成模型作为输入。生成模型则将这些信息片段结合到其生成过程中，以生成更加准确和丰富的文本。通过这种信息检索和生成模型的结合，RAG不仅能够生成更丰富和有信息量的文本，还能够保留原始文本的语义和逻辑一致性。 RAG常被应用在问答系统、对话生成和文档摘要等领域。例如，在问答系统中，RAG可以利用检索模型从大型知识库中检索相关的知识，然后生成与用户问题相关的准确回答。在对话生成中，RAG可以帮助生成更加连贯和丰富的对话内容，从而提升对话质量和流畅度。在文档摘要中，RAG可以将检索到的相关信息片段结合到摘要生成过程中，从而生成更加具有信息量和摘要性的文档摘要。 总的来说，RAG是一种结合信息检索和生成模型的方法，能够在文本生成任务中取得更好的效果，为自然语言处理领域带来了新的发展机遇和挑战。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值