检索增强生成（RAG）技术

已于 2024-04-24 20:39:46 修改
阅读量1.3k 收藏 18
点赞数 12
文章标签： 人工智能 语言模型 RAG 知识库检索 生成器优化 大模型
于 2024-04-23 21:39:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44292902/article/details/138139219
版权

随着大语言模型（LLMs）在自然语言处理（NLP）领域的显著进步，它们在多个评估基准测试中显示出超越人类水平的语言和知识掌握能力。然而，这些模型在实际应用中也面临着一系列挑战，如制造事实、知识更新缓慢和答案缺乏透明度等问题。为了解决这些问题，研究者提出了检索增强生成（Retrieval-Augmented Generation，RAG）技术，它通过从外部知识库检索相关信息来辅助大语言模型回答问题，已经被证明能显著提高回答的准确性。

RAG的核心优势

RAG技术的核心优势在于其能够提高答案的准确性、增加用户信任、便于知识更新和引入特定领域知识。它结合了LLMs的参数化知识和外部知识库的非参数化知识，有效地解决了知识更新的问题，并通过引用来源提高了答案的透明度。

  1. 提高答案准确性： RAG通过从外部知识库中检索相关信息，并将其与语言模型的生成能力结合，可以显著提升生成答案的准确性。这种准确性的提升尤其体现在知识密集型任务中，如专业领域的问答系统。

  2. 增加用户信任： 由于RAG能够引用外部知识库中的信息来支持其回答，用户可以追溯答案的来源，从而增加了对模型输出的信任度。这种可验证性是提高用户满意度和接受度的关键因素。

  3. 便于知识更新和引入特定领域知识： RAG结合了LLMs的参数化知识（即模型内部的知识）和外部知识库的非参数化知识（即存储在数据库中的信息）。这种结构允许模型轻松地通过更新知识库来获取最新信息，而不需要对模型本身进行重新训练。

  4. 减少模型幻觉： 大型语言模型有时会产生“幻觉”（即生成与现实不符的信息）。RAG通过检索真实可靠的信息来辅助生成过程，有效减少了这种幻觉现象。

  5. 透明度： RAG技术通过明确展示其检索到的信息来源，提高了模型的透明度。这种透明度不仅有助于用户理解模型的决策过程，也有助于研究人员分析和改进模型。

  6. 定制化能力： RAG允许根据不同领域的特定需求定制知识库，使得模型能够针对特定领域提供更加精准和深入的答案。

  7. 安全性和隐私管理： 通过在知识库中内置角色和安全控制，RAG可以更好地管理数据使用，保护用户隐私和数据安全。

  8. 可扩展性： RAG技术能够有效处理大规模数据集，而无需对模型的所有参数进行更新或重新创建训练集，这使得其在资源利用上更为高效。

  9. 结果的可信度： 与仅依赖模型内部知识的生成方法相比，RAG能够从最新的数据中选择确定性结果，提高了生成内容的可信度。

  10. 适应性和灵活性： RAG的模块化设计允许研究者和开发者根据具体任务和需求，灵活地添加、替换或调整RAG过程中的模块，从而提高模型的适应性和灵活性。

RAG的三种范式

论文概述了RAG在大型语言模型时代的发展范式，总结了三种RAG范式：原始RAG（Naive RAG）、高级RAG（Advanced RAG）和模块化RAG（Modular RAG）。

  1. 原始RAG：涉及基本的检索-阅读过程，将检索到的文档直接用于生成答案。
  2. 高级RAG：在原始RAG的基础上，进行了检索过程优化、预检索优化、后处理方法等改进，以提高检索生成的质量。
  3. 模块化RAG：提供了更大的多样性和整个过程的灵活性，整合了各种方法来扩展功能模块，允许采用序列化管道或跨多个模块的端到端训练方法。
RAG的三个主要组成部分

检索增强生成（Retrieval-Augmented Generation，RAG）技术由三个主要组成部分构成：检索器（Retriever）、生成器（Generator）和增强方法（Augmentation）。下面详细说明每个部分的作用和关键技术：

  1. 检索器（Retriever） 检索器是RAG框架中的“R”，负责从庞大的知识库中检索出与用户查询最相关的文档。这个过程通常涉及以下几个关键技术：

    • 块优化：选择合适的文档块大小以获得最佳的语义表示。
    • 微调嵌入模型：对嵌入模型进行微调，以更好地适应特定领域的数据集和下游任务。
    • 查询重写：通过生成伪文档或使用大型语言模型重写查询，以提高检索的相关性。
    • 嵌入变换：使用适配器或变换技术优化查询嵌入，使其更匹配文档的语义空间。

  2. 生成器（Generator） 生成器是RAG框架中的“G”，它使用检索到的信息作为输入，生成流畅且信息丰富的文本响应。生成器的关键技术包括：

    • 后检索处理：对检索到的文档进行压缩和重排，以提高信息的利用效率。
    • 优化生成器：通过一般优化过程、对比学习和利用不同优化目标，调整生成器以更好地适应输入数据。
    • 信息压缩：减少检索文档中的噪声和冗余，应对上下文长度限制。
    • 重排：优化检索到的文档集，将最相关的信息放在前面，提高生成文本的相关性。

  3. 增强方法（Augmentation） 增强方法在RAG中用于提升模型在预训练、微调和推理阶段的性能。这些方法包括：

    • 数据源增强：使用非结构化数据、结构化数据和LLM生成内容作为检索源，增强RAG的效果。
    • 过程增强：通过迭代检索和自适应检索优化检索过程，使模型能够根据任务需求动态调整检索策略。
    • 模块化RAG：引入新模块和新模式，如搜索模块、记忆模块、额外生成模块、任务适应模块、对齐模块和验证模块，以提供更大的灵活性和适应性。

每个组成部分都包含了一系列的技术，这些技术可以单独使用或组合使用，以解决特定的挑战并提升RAG系统的整体性能。RAG的这三个组成部分相互协作，共同提高了模型在处理复杂查询和生成信息丰富响应方面的能力。

参考链接：同济大学发布最新检索增强(RAG)的LLM生成技术综述

检索增强生成（RAG）技术详解
maxcode
02-27 98
RAG技术是一种将信息检索与文本生成相结合的方法，旨在提升大型语言模型在处理自然语言任务时的准确性和相关性。通过从外部知识库中检索相关信息，并将其融入到语言模型的生成过程中，RAG能够生成更准确、更符合上下文的答案。这种技术使得语言模型能够处理最新的、领域特定的信息，从而在多个领域展现出广泛的应用潜力。
RAG技术揭秘：检索增强生成的技术革新
fudaihb的博客
01-23 2258
自然语言处理领域近年来取得了显著的发展，尤其是生成模型在推动语言理解和文本生成方面的成功。然而，随着任务复杂性的增加，传统的生成模型也暴露出一些局限性，如生成文本的一致性、关注特定主题、以及处理长文本的挑战。为了解决这些问题，研究者们开始探索融合检索与生成的方法，而RAG技术就应运而生。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
2401_85375151的博客
07-29 2779
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
检索增强生成（RAG）实用指南：什么是检索增强生成（RAG）？
star_nwe的博客
02-21 969
检索增强生成（RAG）是一种生成式人工智能（GenAI）框架，它通过从权威的内部知识库和企业系统中检索新鲜、可信的数据来增强大型语言模型（LLM），从而生成更加知情和可靠的回应。
【RAG检索增强生成】深入探索检索增强生成（RAG）技术
寻道AI，探索AI无限可能！
06-27 2397
在人工智能的不断演进中，大语言模型（LLMs）已成为解决复杂问题的关键工具。但它们在处理需要最新信息或专业知识的任务时，受限于静态知识库，影响了内容的准确性和时效性。为了克服这一局限，检索增强生成（RAG）技术应运而生，它通过整合实时数据和外部知识库，显著提高了AI响应的质量和信息的更新速度。
高级检索增强生成技术(RAG)全面指南：原理、分块、编码、索引、微调、Agent、展望
人工智能讲师分享前沿技术
04-27 5757
如果我们使用多个源来生成答案，要么是由于初始查询的复杂性（我们必须执行多个子查询，然后将检索到的上下文合并到一个答案中），要么是因为我们在各种文档中找到了单个查询的相关上下文，问题是我们是否能够准确地回溯我们的来源。显然，尽管OpenAI是LLM提供商的市场领导者，但仍有许多替代方案，例如Anthropic的Claude、最近流行的较小但功能强大的模型，例如Mixtral形式的Mistral、Microsoft的Phi-2以及许多开源选项，例如Llama2、OpenLLaMA、Falcon。
一文带你了解大模型的RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）
热门推荐
机器学习社区
12-30 2万+
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。本文介绍了 RAG 的概念及其背后的一些理论，本文通过Python、LangChain将其实现，在此过程中使用了 OpenAI的ChatGPT接口（可以自己搭建chatGLM3）、Weaviate矢量数据库（可以自己搭建Milvus ）、OpenAI 嵌入模型实现了 RAG 管道。
RAG（检索增强生成）技术
wdn blog
12-19 2548
检索增强 LLM ( Retrieval Augmented LLM )，给 LLM 提供外部数据库，对于用户问题 ( Query )，通过一些信息检索 ( Information Retrieval, IR ) 的技术，先从外部数据库中检索出和用户问题相关的信息，然后让 LLM 结合这些相关信息来生成结果
人工智能-检索增强生成-基于BM25、BGE的检索增强生成RAG示例
11-19
在深入探讨基于BM25和BGE的检索增强生成RAG示例之前，我们首先需要了解RAG模型的基本概念，以及BM25和BGE这两种检索增强技术的原理和应用场景。RAG模型，即Retrieval-Augmented Generation模型，是一种结合了信息...
重磅推荐-2024最新大模型RAG（检索增强生成）最佳实践PPT合集（38份）.zip
12-09
精心整理，2024最新大模型RAG（检索增强生成）最佳实践...检索增强生成RAG的实践、挑战与发展 通义百炼RAG应用落地实践与挑战 AI 搜索 RAG 大模型优化实践 AI搜索RAG应用实践 OpenSearch RAG应用实践 ……等等38份。
RAG（检索增强生成）
荣山的博客
05-01 353
RAG技术结合了大型语言模型的强大生成能力和检索系统的准确性。它允许模型在生成文本时，从外部知识库中检索相关信息，从而提高生成内容的准确性、相关性和时效性。这种方法不仅增强了模型的回答能力，还减少了生成错误信息的风险。
检索增强生成架构详解【RAG】
新缸中之脑
11-25 1162
生成式AI技术很强大，但它们受到知识的限制。虽然像 ChatGPT 这样的LLM可以执行许多任务，但每个LLM的基线知识都存在基于其训练数据的差距。如果你要求LLM写一些关于最近趋势或事件的文章，LLM不会知道你在说什么，而且回答最好是混合的，坏的情况下往往还是有问题的。
AI的“记忆”外挂：检索增强生成技术（RAG）综述
m0_59163425的博客
06-07 1510
检索增强生成（RAG）将检索方法与深度学习的进步相结合，以解决大型语言模型（LLMs）的静态局限性，通过动态集成最新的外部信息。这种以文本领域为主的方法提供了一种成本效益的解决方案，用于生成LLMs可能产生的合理但不正确的回应，从而通过使用现实世界数据提高其输出的准确性和可靠性。
RAG科普文！检索增强生成的技术全景解析
最新发布
h1453586413的博客
02-25 900
LLM 为社区生成摘要，提供对主题结构和语义的见解。
基于BM25、BGE检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务.zip
05-17
在当前的IT领域，检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种混合了检索和生成技术的方法，广泛应用于问答系统、聊天机器人和文本生成等任务。本示例着重介绍了如何利用BM25和BGE检索算法来提升...
不用苦苦寻觅！这是大模型检索增强生成（RAG）最全综述！
机器学习社区
02-03 1万+
是什么：RAG 是一种通过检索外部知识库来获得额外语料，并使用 ICL（In-Context-Learning，上下文学习）来改进 LLM 生成效果的范式。为什么：LLM 受训练语料的限制，无法感知最新的内容，比如 LLM 训练后的新闻；此外，LLM 也容易产生幻觉，生成不正确的内容。如何做：当用户发起一个生成请求时，首先基于用户的 prompt 来检索相关信息，然后这些信息会被组合到 prompt 中，为生成过程提供额外的上下文，最后将组合后的 prompt 输入 LLM 生成结果。
太强了！最全的大模型检索增强生成（RAG）技术概览！
机器学习社区
03-10 7447
如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。
前沿重器[41] | 综述-面向大模型的检索增强生成（RAG）
baidu_25854831的博客
01-21 1259
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经是20年的事了！）2023年文章合集发布了！在这里：又添十万字-CS的陋室2023年文章合集来袭往期回顾前沿重器[36] | ACL23-基于检索的大语言模型-报告阅读前沿重器[37] | 大模型对任务型对话的作用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能大模型讲师培训咨询叶梓

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值