RAG概述（二）：Advanced RAG 高级RAG

已于 2024-05-26 21:28:29 修改
阅读量3k 收藏 26
点赞数 22
分类专栏： LLM工程 文章标签： 人工智能 LLM 大语言模型 生成式AI RAG embedding langchain
于 2024-05-26 16:47:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hugo_lei/article/details/139215091
版权

目录

概述

Advanced RAG

Pre-Retrieval预检索

优化索引

增强数据粒度

粗粒度

细粒度

展开说说

优化索引

Chunk策略

Small2Big方法

元数据

引入假设性问题

对齐优化

混合检索

查询优化

查询扩展

查询转换

Post-Retrieval后检索

参考

概述

Native RAG（基础RAG）体现了RAG开发范式的骨架，也即三段论Indexing-Retrieval-Generation。

Native RAG的不足是，在LLM这种高度不确定的场景下，还是太粗糙了，最终的表现就是效果不够好。

具体表现：

  1. 准确性低：Retrieval阶段查询到的块，和query本身的相关性低。可能导致LLM出现幻觉或空中掉物等问题。
  2. 召回低：Retrieval阶段查询的块，并没有返回足够多的相关块，进一步降低了LLM构建全面回应的可能性。
  3. 组装prompt的问题：这个阶段会将检索到的块和query融合，构建一个prompt给到LLM。若检索到的多个块中包含了相似或重复的内容，可能导致最终LLM生成内容的冗余和重复，也就是表现的婆婆妈妈。
  4. 灵活性问题：若检索阶段拿到了足够丰富的信息，和query一起构建扔给LLM后，LLM的生成完全基于检索出的内容，并没有增加新生成的内容，变成了复读机。

Advanced RAG的目标是对Native RAG的效果做了进一步优化。

Advanced RAG

Advanced RAG重点聚焦在检索增强，也即优化Retrieval阶段。

增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。

Pre-Retrieval预检索

本阶段关注的重点是：优化索引结构和原始查询。

优化索引

目标是提高被索引内容的质量。这涉及五种主要策略：增强数据粒度、优化索引结构、添加元数据、对齐优化和混合检索。

增强数据粒度
粗粒度

例如文档分块chunk较大。

理论上粗粒度，能包含更多的相关信息。

但这是一把双刃剑，粗粒度也可能包含了很多无关的内容，而这些无关内容可能会给LLM的generation阶段带来额外的困扰。

细粒度

例如文档分块chunk较小。

细粒度会导致分块很多，给检索阶段增加了压力。

同时细粒度也不能保证能提供完整的语义信息。

旁白：

  • 反正一刀切预制一个chunk大小肯定不行
  • 能不能动态优化？不同doc有不同的chunk？
展开说说

【针对文本数据】数据粒度从细到粗包括：

  1. Token
  2. Phrase 短语
  3. Sentence 句子
  4. Proposition 命题
  5. Chunk 分块
  6. Doc 整个文档

以Proposition命题为检索单元。命题被定义为文本中的原子表达式，每个命题都封装了一个独特的事实片段，并以简洁、自包含的自然语言格式呈现。

这种方法目的是提高检索精度和相关性。

【针对知识图谱Knowledge Graph】，数据粒度从细到粗包括：

  1. Entity 实体
  2. Triplet 三元组
  3. sub-Graph 子图
优化索引
Chunk策略

和数据粒度有一定关联性。

chunk可能导致句子截断，这会损坏语义完整性。

优化：

  • 递归拆分split
  • 滑动窗口
  • 分层检索：在多检索基础上合并全局关联信息

（具体怎么做下回分解）

一个关键点：如何在语义完整性和上下文长度之间取得平衡。

Small2Big方法

使用句子做检索单元（这个是small）

使用前句和后句做上下文（这个是big）

元数据

例如chunk的元数据：

  • 页码
  • 文件名
  • 作者
  • 时间
  • 类别

检索时可通过meta data先过滤，例如检索time range内的chunk，确保是新鲜的信息。

除了从原始文档中自动抽取meta data，也可以人工构建meta data，例如：

  • 添加段落摘要
  • 引入假设性问题
引入假设性问题

例如把doc喂给LLM，让LLM生成这个doc可以回答哪些问题。

在Retrieval时，对比原始query和LLM生成的这些假设性问题，可以用于过滤掉不相关的doc。

对齐优化

例如垂直领域，调优embedding模型，可以将领域内的相似知识嵌入到相近的空间（相比于通用embedding模型）。

混合检索
  1. 向量相似性检索
  2. 文本相似性检索
  3. 知识图谱检索

查询优化

查询优化就是让用户的原始问题更清晰，更适合于检索任务。

常见的方法包括查询改写、查询转换、查询扩展等。

查询扩展

将单个查询扩展为多个查询，丰富查询内容，可提供更丰富的上下文信息。

  1. 让LLM针对原始query生成多个查询
  2. 将复杂问题拆分成多个子问题
查询转换

改写用户的原始query

  1. 让LLM优化原始query
  2. 使用专门的较小的语言模型进行改写
  3. 让LLM先生成原始query的答案，然后将答案作为query，去根据相似性检索（而不是直接用原始query去检索）

Post-Retrieval后检索

重点是有效的融合检索到的相关内容和query。

主要方法包括：

  1. 分块chunk重排序
    1. 将检索到的块里，最相关的块优先级提高
  2. 上下文压缩
    1. 一个是避免prompt超长，超过LLM的窗口限制
    2. 另一个是找到基础信息，强调关键信息，将不相关的内容压缩、精简、淡化

参考

  1. RAG概述（一）：RAG架构的演进-CSDN博客
  2. https://arxiv.org/pdf/2312.10997
RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用解决方案与实施策略(Advanced RAG✨)
丨汀、的博客
08-28 461
RAG理论到实践：高级、模块化RAG在AI工程架构中的行业通用解决方案与实施策略(Advanced RAG✨)
深度解读RAG技术发展历程：从基础Naive RAG 到高级Advanced，再到模块化Modular RAG的全面升级
丨汀、的博客
08-26 766
深度解读RAG技术发展历程：从基础Naive RAG 到高级Advanced，再到模块化Modular RAG的全面升级
15种高级RAG技术：从预检索到生成全面提升RAG效果
xiangxueerfei的博客
10-23 1268
随着检索增强生成（RAG）系统的快速发展，它为增强对话式 AI 和其他生成式 AI 应用提供了许多机会。本文的实验和研究突显了先进的 RAG 技术在以下方面的潜力：信息密度检索准确性用户响应质量如果正确实施，这些技术可以为企业带来更高的成本效益，并改善客户体验。但为了跟上快速涌现的最佳实践，软件工程师和数据科学家需要及时、可信赖的资源作为参考。
深入理解RAG（Retrieval-Augmented Generation）的核心知识点
最新发布
秃了也弱了
03-03 1513
在自然语言处理领域，大型语言模型如GPT系列、claude系列、meta的LLama系列、谷歌的geminl和pemma以及阿里通义千问等等，已经取得了突破性的成就，并在多个基准测试中性能不错，但对行业领域或者高度专业化的知识仍存局限，有时会生成”幻觉”，知识也会落后一年左右时间。在行业或者公司内部业务场景中，数据的持续更新至关重要，以确保信息的时效性，生成的内容需要透明目可追潮，这不仅有助于成本控制，也好保护教据隐私。这是一篇同济大学、复旦大学等综合发表一篇RAG综述论文。
大模型 Advanced-RAG(高级检索增强生成)：从理论到 LlamaIndex 实战！
2301_78285120的博客
02-25 2319
首先，您可以在全局设置对象中定义一个嵌入模型和LLM。这样做意味着您不必再次在代码中明确指定模型。嵌入模型：用于为文档块和查询生成向量嵌入。LLM：用于根据用户查询和相关上下文生成答案。
Advanced RAG 03：运用 RAGAs 与 LlamaIndex 评估 RAG 应用
Baihai_IDP的博客
04-17 975
作者 | Florian June编译 | 岳扬🚢🚢🚢欢迎小伙伴们加入AI技术软件及技术交流群，追踪前沿热点，共探技术难题~如果你已经为某个真实业务系统开发了检索增强生成（RAG）应用程序，可能会想了解该 RAG 应用的效果如何。换句话说，您可能想评估该 RAG App 的性能。另外，如果发现现有的 RAG 应用效果不佳，可能还需要验证使用的 RAG 性能优化方法是否有效。换句话说，需要进行评估，确定这些性能优化方法是否起了作用。在本文，我们首先介绍了由 RAGAs（Retrieval Augment
AI大语言模型LLM学习-Advanced RAG(高级检索增强生成)从理论到实战
fengqiuhuang123的专栏
09-18 1766
在《AI大语言模型LLM学习-RAG技术及代码实现》一文介绍了RAG的相关知识，其中介绍到RAG的发展经历三个主要阶段：原始（Native RAG）、高级（Advanced RAG）和模块化RAG（Modular RAG），文中实战使用实际案例介绍了原始（Native RAG）的代码实现；本文将重点介绍高级（Advanced RAG）的概念及代码实现。摘要技术用于生成检索结果的简短摘要，帮助用户快速了解文档的主要内容。包括抽取式摘要和生成式摘要两种方法。
2025 RAG技术大揭秘：5种范式轻松掌握.pdf
02-22
文中详细介绍了一系列关键概念和五大主要范式——Naive RAG、Advanced RAG、Modular RAG、Graph RAG 和最新的 Agentic RAG，解释了每一种范式的技术细节和发展脉络。对于RAG技术的应用，论文探讨了各种工程工具和...
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
丨汀、的博客
08-27 977
模块化RAG技术路线图(Modular RAG Technical Map)：从基础Naive RAG 到高级Advanced，再到Modular RAG全方位技术解读
第8章:LangChain检索增强生成RAG--2.4Advanced RAG【高级RAG】
Hank的专栏
02-21 751
高级 RAG（Advanced RAG）通过多个模块化组件（如查询转换器、查询路由器、内容检索器、内容聚合器和内容注入器）来增强检索功能。这种实现方式提供了高度的灵活性和定制化能力，适用于需要复杂检索逻辑的场景。通过合理配置这些组件，开发者可以构建高效、智能的问答系统。
15种高级RAG技术：从预检索到生成全面提升RAG效果，收藏这一篇就够了
wholeliubei的博客
10-24 307
随着检索增强生成（RAG）系统的快速发展，它为增强对话式 AI 和其他生成式 AI 应用提供了许多机会。本文的实验和研究突显了先进的 RAG 技术在以下方面的潜力：信息密度检索准确性用户响应质量如果正确实施，这些技术可以为企业带来更高的成本效益，并改善客户体验。但为了跟上快速涌现的最佳实践，软件工程师和数据科学家需要及时、可信赖的资源作为参考。
什么是Advanced RAG，具体包括RRR、Iter-RETGEN、Self Ask、 Active RAG、 Self-RAG
yxx122345的博客
09-02 692
（Retrieval-Augmented Generation） 是在经典 RAG 模型基础上发展出的一系列技术和策略，旨在提高 RAG 模型在复杂任务中的表现。这些技术通常涉及更高效的检索和生成方法，更智能的问答流程，以及更强的模型自我反馈机制。
2024最新最全：15种高级RAG技术，从预检索到生成全面提升RAG效果，收藏这一篇就够了
wholeliubei的博客
09-03 1886
随着检索增强生成（RAG）系统的快速发展，它为增强对话式 AI 和其他生成式 AI 应用提供了许多机会。本文的实验和研究突显了先进的 RAG 技术在以下方面的潜力：信息密度检索准确性用户响应质量如果正确实施，这些技术可以为企业带来更高的成本效益，并改善客户体验。但为了跟上快速涌现的最佳实践，软件工程师和数据科学家需要及时、可信赖的资源作为参考。
前沿重器[40] | 高级RAG技术——博客阅读
baidu_25854831的博客
01-14 1262
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经是20年的事了！）2023年文章合集发布了！在这里：又添十万字-CS的陋室2023年文章合集来袭往期回顾前沿重器[35] | 提示工程和提示构造技巧前沿重器[36] | ACL23-基于检索的大语言模型-报告阅读前...
RAG~2
whaosoft143ai的博客
01-06 453
随着 LLMs 的潜力被进一步开发，旨在提升模型的可控性并满足不断演变的需求，RAG 的研究逐渐聚焦于增强推理能力，并且也探索了在微调过程中的各种改进方法。随着 RAG 技术的进一步发展和演变，新的技术突破了传统的 Naive RAG 检索 — 生成框架，基于此我们提出模块化 RAG 的概念。表中汇总了如何将传统量化指标应用于 RAG 评估以及各种 RAG 评估框架的评估内容，包括评估的对象、维度和指标，为深入理解 RAG 模型的性能和潜在应用提供了宝贵信息。正好也对应的 RAG 中的三个首字母。
Naive RAG 、Advanced RAG 和 Modular RAG 简介
weixin_41870426的博客
05-14 3597
RAG（Retrieval-Augmented Generation）系统是一种结合了检索（Retrieval）和生成（Generation）的机制，用于提高大型语言模型（LLMs）在特定任务上的表现。随着技术的发展，RAG系统经历了几个阶段的演变，包括Naive RAG、Advanced RAG和Modular RAG。
深度解读RAG技术发展历程（一）RAG简介：Naive RAG、Advanced RAG、Modular RAG、RAG/Fing-turning/提示词工程对比
Code1994的博客
08-28 1828
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Naive RAG Advanced RAG
12-28
### Naive RAG与Advanced RAG对比 #### 定义与发展历程 Naive RAG代表早期阶段的检索增强生成(Retrieval-Augmented Generation)，其主要特点是简单直接地结合预训练的语言模型和信息检索机制来完成特定任务。随着技术的进步，从Naive RAG进化到了更为先进的形式——即所谓的Agentic RAG，在这一过程中实现了质的变化和发展[^1]。 #### 关键特性比较 - **灵活性** Agentic RAG展示了更高的智能化水平以及更强的任务适应能力，能够更好地应对复杂的查询需求并提供精准的结果反馈；而Naive版本则相对固定模式化操作较多。 - **智能程度** 基于代理的方法被引入到高级别的RAG体系里之后，极大地提高了系统的自主决策能力和环境交互效率，使其不仅仅局限于简单的数据匹配过程，而是可以主动探索最优解路径。 - **应用场景广度** 高级形态下的RAG解决方案由于具备上述优势特征，因此能够在更多领域内找到实用价值，比如自然语言理解、机器翻译等方面均展现出良好的潜力和发展空间。 #### 实现方式差异 对于两种不同层次的RAG架构而言，其实现在技术和算法层面也有着明显的区别： - **基础组件集成** 初级版通常依赖较为传统的搜索引擎作为外部知识源接入手段，并采用固定的编码器结构来进行文档表示学习；相比之下，改进型方案会利用最新的研究成果优化各部分设计，如尝试多种嵌入模型以提高召回率和准确性[^3]。 - **参数规模扩展** 当涉及到更大规模的数据集或更高性能的要求时，现代研究趋势表明增加模型参数量有助于保持甚至提升整体表现力[Wang et al., 2023b][^2]。这意味着在构建高效能的RAG系统时，合理调整内部神经网络尺寸成为了一个不可忽视的因素之一。 ```python # 示例代码片段展示如何定义一个基本的RAG类 class BasicRAG: def __init__(self, encoder_model='bert-base'): self.encoder = Encoder(encoder_model) def retrieve(self, query): # 执行简单的检索逻辑 pass def generate_response(self, retrieved_docs): # 结合检索结果生成回复文本 pass # 对应地，这里给出一个更复杂的Agentic RAG实现概览 from transformers import AutoModelForSeq2SeqLM class AdvancedRAG(BasicRAG): def __init__(self, agent_policy=None, large_encoder='t5-large', *args, **kwargs): super().__init__(*args, **kwargs) self.agent_policy = AgentPolicy(agent_policy) if agent_policy else None self.large_encoder = LargeEncoder(large_encoder) def adaptive_retrieve(self, query_context_pair): # 应用策略指导下的动态检索流程 action = self.agent_policy.decide(query_context_pair) docs = self.retrieve_with_action(action) return docs def enhanced_generate(self, doc_list): # 考虑上下文关联性的响应合成方法 response = "" for doc in doc_list: part_resp = self.generate_based_on(doc) response += f"{part_resp} " return response.strip() ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hugo Lei

赏你了，我的一点心意

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值