高级 RAG 技术原理和前沿进展

原创 已于 2025-09-09 19:28:25 修改 · 1.2k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型

于 2025-09-09 19:27:27 首次发布

思维导图

在这里插入图片描述

课程内容

1. 背景与核心动机

  • 现实：约 95% 知识为企业私有数据，通用大模型只覆盖 5% 公共语料。
  • 类比：LLM 像 CPU，RAG 像“从外部存储加载知识”机制。
  • 目标：让企业成员“低摩擦”获得组织集体智慧；本质是重构“搜索 → 决策/执行”链条，而不是简单问答替代。
  • 痛点：模型内部知识滞后、专业场景幻觉高、长尾问题覆盖差、精确引用与可追溯需求上升。

2. RAG 的三大基础价值

  1. 知识更新（外部数据即时接入）
  2. 知识注入（专业/私域语料增强）
  3. 幻觉抑制（答案与上下文绑定）

3. 应用范围扩展

  • 不仅是 FAQ/知识库问答

  • 典型扩展：Text2SQL / SQL 生成辅助、代码检索 + 模式示例参考、写作与报告生成、信息抽取、日志/运维语义检索、Agent 工具编排、Deep Search / Deep Research、多模态（图 + 文档截图）检索。

    在这里插入图片描述

在这里插入图片描述

4. RAG 常见失败模式（典型分层定位）

在这里插入图片描述

层级 失败现象
数据/索引 无对应内容（超纲）、OCR/解析错误、切块跨语义
检索 召回失败、相关性排序差、短文本/噪声块干扰
上下文注入 重要块丢失（长度裁剪）、Lost-in-the-middle
生成 幻觉（预训练 or 上下文误读）、答案不完备、格式不符、风格不匹配、引用错乱
评估 指标缺失或只看主观体验，优化无方向

补充：上下文幻觉 = 已提供正确材料仍答错；结构性缺失多源于理解/注意力集中模式。

5. 评估体系

5.1 数据结构（CRAG 类）

在这里插入图片描述

  • question
  • answer（系统输出）
  • contexts（检索返回按相似度排序）
  • reference_context（标注相关上下文）
  • ground_truth（参考答案）

5.2 核心指标

在这里插入图片描述

  • Answer Relevancy（问答相关性，LLM 0/1 判）
  • Answer Semantic Similarity（与 ground truth 语义相似度，交叉编码器）
  • Answer Correctness（事实一致性，LLM 判）
  • Answer Faithfulness（对已提供 context
最低0.47元/天 解锁文章
Agent 技术原理和前沿进展
Shockang的博客
09-10 1169
从“文科型”LLM到具备规划与行动力的自治Agent：课程梳理AGI五级路线、推理增强(o1/DeepSeek)、ReAct+MCP+代码解释器+记忆的核心栈，揭示Workflow+局部自治混合落地范式，并总结规划/工具/记忆评估方法与多Agent协作、研究型DeepResearch前沿。深度洞察力
【RAG综述系列】之 RAG 相关背景和基本原理
weixin_43837507的博客
03-24 1171
文章中回顾了 RAG 的基础概念，并分析当前模型所面临的关键挑战，为理解外部知识与语言生成的融合奠定基础。同时，深入探讨 RAG 的核心原理，详细介绍知识检索、整合和生成的流程。后续会进一步探讨前文提到的知识选择、检索效率及上下文推理等挑战，并分析其复杂性。还有介绍 RAG 的各种方法，包括传统的基于检索的模型，以及更高级的多模态方法，这些方法引入了更强的推理能力和记忆机制。并分析评估 RAG 系统的标准和数据集，并批判性地回顾现有的评测方法与指标。
当大模型“学会查资料”：RAG技术原理解析与前沿展望
-曾牛的博客
04-23 748
RAG技术不仅大幅提升了生成系统的可靠性，更重要的是构建了人机协作的新范式——当AI的每次输出都像学术论文般标明“参考文献”，人与机器的信任桥梁将真正建立。随着知识图谱、因果推理等技术的深度融合，RAG正在从增强生成的技术工具，进化为连接人类知识宇宙的“星际引擎”。
一文带你了解RAG核心原理！
m0_48891301的博客
04-21 1868
看完本篇分享的每个步骤大家再返回文章开头看RAG全貌是不是清晰很多。RAG系统通过数据准备数据检索和LLM生成三个核心环节把外部知识和大语言模型能力完美结合，使得用户能够收获更专业更准确的知识（从文档中获取的内容尽量避免大模型幻觉）。RAG系统因其知识随时更新，回答检索靠谱被广泛应用于智能客服、学习助手等领域。作为RAG系统的使用者甚至开发者，我们只有了解RAG系统的核心原理，才能找准RAG系统提升优化的思路，让RAG系统变得更加高效可靠。
高级检索增强生成（RAG）技术综述：一图读懂RAG原理与应用！
m0_65555479的博客
04-23 981
检索增强生成（Retrieval Augmented Generation，简称RAG）是为大型语言模型（LLM）提供从数据源检索到的信息，使其生成的答案基于这些信息。基本上，RAG就是搜索 + LLM提示，即要求模型根据搜索算法找到的信息作为上下文来回答所提供的查询。查询内容和检索到的上下文都会被嵌入发送给LLM的提示信息中。2023年，RAG是基于LLM的系统中最受欢迎的架构。有许多产品几乎完全基于RAG构建——从将网络搜索引擎与LLM相结合的问答服务，到数百个能与自有数据对话的应用程序。
大模型应用开发：不可错过的高级RAG技术
2401_84495872的博客
11-08 1273
最近一直在探索RAG相关的技术，并且分析了langchain和llamaindex相关技术实现，现在总结和分享一些自己的经验。
大模型应用开发，必看的高级 RAG 技术
2401_85328934的博客
06-04 562
最近一直在探索RAG相关的技术，并且分析了langchain和llamaindex相关技术实现，现在总结和分享一些自己的经验。
大模型应用开发，必看的高级 RAG 技术，万字长文非常详细
2401_85343303的博客
07-08 974
最近一直在探索RAG相关的技术，并且分析了langchain和llamaindex相关技术实现，现在总结和分享一些自己的经验。
2024技术总结：LLM之RAG技术全栈进化解析、Agent应用案例精选、LLM大模型部署实战指南
丨汀、的博客
01-24 2478
2024技术总结：LLM之RAG技术全栈进化解析、Agent应用案例精选、LLM大模型部署实战指南
#AIGC##LLM##RAG# RAG：专补LLMs短板_减少LLM幻觉并多模态/RAG 技术最新进展
weixin_45312236的博客
01-15 1963
通过检索与生成目标相关的信息，来增强生成模型性能的技术。弥补LLMs“黑盒”导致的幻觉、信息来源单一、信息缺乏是时效性、模态单一、内容不透明不可追溯等短板。以便有效地控制成本并确保数据隐私的保护。
RAG技术全解析：打造下一代智能问答系统
热门推荐
alysblmd
05-13 1万+
检索增强生成（RAG）技术通过结合大型语言模型（LLM）和外部知识库来克服传统语言模型在特定领域任务上的局限。RAG通过索引、检索和生成的三步流程，增强了语言模型的能力，提高了生成内容的准确性和相关性。本文详细介绍了RAG的工作原理、实现过程和评估方法，并展望了其在多模态领域的应用前景。RAG不仅优化了问答系统的性能，还通过多样的技术整合和灵活的检索过程，推动了智能问答系统的发展。
检索增强生成（RAG）：利用Python、LangChain和OpenAI实现前沿的自然语言处理技术
m0_57781768的博客
06-30 549
检索增强生成（RAG）是一种为大型语言模型提供外部知识源的技术。通过引入外部知识源，RAG能够生成更加准确且符合上下文的答案，从而减少模型幻觉的发生。RAG的核心思想是将生成模型与检索器模块相结合，利用检索器从外部知识源中获取相关信息，再将这些信息作为生成模型的输入，最终生成准确的答案。本文详细介绍了检索增强生成（RAG）的概念、理论和应用场景，并通过Python、LangChain和OpenAI实现了一个简单的RAG管道。
个性化家庭平衡康复建模
10-12
本书提出基于静态等效串联链（SESC）与Kinect的个性化建模方法，实现家庭环境下人体质心的实时估计与平衡评估。通过自适应视觉反馈加速参数识别，结合ZRAM指标动态监测姿势稳定性，为老年人及运动功能障碍者提供低成本、便携式的居家康复解决方案，推动个性化康复技术的临床应用与发展。
CNN卷积神经网络回归预测+SHAP可解释分析+新数据预测（Matlab完整源码和数据）
10-12
CNN卷积神经网络回归预测+SHAP可解释分析+新数据预测（Matlab完整源码和数据） 主要功能 回归预测：使用CNN处理多特征输入，预测连续数值输出 数据预处理：数据归一化、训练测试集划分、数据格式转换 模型训练：构建并训练CNN回归模型 性能评估：计算R²、MAE、RMSE等评价指标 结果可视化：多种图表展示预测效果和误差分析 特征重要性：使用SHAP值分析特征贡献度 新数据预测：加载新数据并进行预测
【复现】电力系统风储联合一次调频仿真模型附Simulink仿真.rar
最新发布
10-12
2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
首席护理官的双重挑战
10-12
本文探讨首席护理官（CNO）在满足护士需求与提升患者结局之间的平衡难题。研究基于对25名CNO的深度访谈，揭示其在倡导患者利益与支持护士职业发展间的内在冲突。许多CNO重视短期患者结果如住院时长，却忽视护士工作负荷、自主性缺失等深层问题。少数CNO意识到，只有当护士被赋权、获得资源与支持，才能真正实现高质量患者护理。文章呼吁改革护理教育体系，强化领导力培训，推动护理与财务、管理层的协同合作，构建健康的工作环境。通过提升CNO的战略视野与跨学科沟通能力，促进护士福祉与患者安全的双赢局面。该研究为护理领导力发展提供了实证依据，强调‘先支持护士，再成就患者’的新型领导哲学，对未来医疗管理体系优化具有重要启示。
基于Fastdfs和Python的分布式文件存储系统.zip
10-12
python
【深度学习训练优化】基于PyTorch的DDP与FSDP混合并行策略：结合激活检查点的大模型分布式训练实践
10-12
内容概要：本文深入讲解了如何在大规模模型训练中应用 PyTorch 的混合并行策略，结合 DDP、FSDP 和 Activation Checkpoint 技术，解决大模型显存受限与训练效率问题。通过完整的代码实例，展示了在 8 卡环境下训练 7B 参数模型的具体实现流程，涵盖环境配置、模型构建、FSDP 分片策略、激活检查点优化、数据加载、混合精度训练及模型保存等关键环节，并对各技术的原理与性能优化进行了详细解析。同时展望了未来分层 FSDP、端侧联邦学习与编译驱动并行的发展趋势。; 适合人群：具备 PyTorch 深度学习基础，从事大模型训练的算法工程师、科研人员或高级开发者，熟悉分布式训练基本概念且有 GPU 多卡训练经验者更佳。; 使用场景及目标：①掌握百亿级大模型在有限显存下全参数微调的技术路径；②理解 FSDP 分片机制与 Activation Checkpoint 的显存优化原理；③实现高效、可扩展的分布式训练系统，提升多卡资源利用率与训练稳定性。; 阅读建议：建议结合代码逐段实践，重点关注 FSDP 包裹策略、检查点函数设置与训练循环中的梯度累积技巧，同时配合日志调试与性能监控，深入理解通信与计算的重叠机制。
用于增加无线传感器网络（WSN）寿命的改进型LEACH协议（Matlab代码实现）
10-12
内容概要：本文介绍了用于延长无线传感器网络（WSN）寿命的改进型LEACH协议，并提供了基于Matlab的代码实现。LEACH（Low-Energy Adaptive Clustering Hierarchy）是一种经典的分簇路由协议，旨在通过能量有效的簇头选举机制和数据聚合策略降低网络能耗。文中提出的改进型LEACH协议针对传统LEACH存在的能量消耗不均、簇头分布不合理等问题进行了优化，可能引入了如能量感知的簇头选择机制、均衡的簇构建策略或优化的数据传输路径等方法，从而有效延长整个网络的生存周期。该资源还附带完整的Matl用于增加无线传感器网络（WSN）寿命的改进型LEACH协议（Matlab代码实现）ab仿真代码，便于读者复现算法并进行性能对比分析。; 适合人群：具备一定无线传感器网络基础知识和Matlab编程能力的高校研究生、科研人员及从事物联网、低功耗通信领域相关工作的技术人员。; 使用场景及目标：①深入理解LEACH协议的工作原理及其局限性；②学习如何通过算法改进提升WSN的能量效率和网络寿命；③利用Matlab进行协议仿真与性能评估，支持学术研究、课程设计或工程原型开发。; 阅读建议：建议结合Matlab代码逐行分析算法实现细节，重点关注簇头选举机制和能量模型的设计。可通过调整节点数量、初始能量、网络规模等参数进行仿真实验，对比改进前后在网络生命周期、死亡节点分布等方面的性能差异，以加深对协议优化效果的理解。
LLM+RAG技术路径
06-07
<think>嗯，用户这次问的是如何将LLM与RAG技术结合使用，看来ta对AI领域的应用落地很感兴趣。从ta特意标注的引用资料看，可能已经做过一些基础调研，现在需要更具体的实施路径说明。用户引用的三篇资料其实覆盖了关键点：引用[1]强调区分适用场景，引用[2]对比技术特性，引用[3]则提供最新研究进展。特别是第三篇提到的Self-RAG、桥接模型等案例，应该成为重点展开的内容。不过用户明确表示这些只是参考，说明ta更需要方法论而非文献综述。上次我回答过LLM微调与RAG的对比，用户这次直接跳到技术结合层面，说明理解基础概念了。ta可能是个技术负责人，正在评估方案选型，需要知道怎么实操。因此要避免纯理论，多给架构图、决策树、代码片段这类可落地的内容。技术实现上要突出三点：首先是RAG如何弥补LLM的实时性和事实性缺陷，这个可以用架构图展示信息流动；其次要解释参数优化（微调）与架构优化（RAG）的互补性；最后一定要说明部署考量，比如轻量化方案选型，这点企业用户很关心。用户提到“结合使用方法或实现路径”，说明需要分层次的方案：基础版直接调用API，进阶版涉及模型微调，高级版则要修改架构。代码示例选Python很稳妥，但要注意标注API密钥的处理安全问题。注意到引用[3]里中国企业机构的研究成果较多，可能在回复时要侧重国内可用的技术方案。另外用户没提具体应用场景，需要补充决策流程图帮助ta对齐业务需求。</think> 将大型语言模型（LLM）与检索增强生成（RAG）技术结合，可显著提升模型在知识密集任务中的准确性和实时性。以下是具体结合方法和实现路径： --- ### **一、核心结合原理** **RAG的核心机制**： $$ \text{Output} = \text{LLM}(\text{[Retrieved Context]} \oplus \text{User Query}) $$ 1. **检索阶段**：从外部知识库动态检索与用户查询相关的文档片段 2. **增强生成阶段**：将检索结果作为上下文输入LLM，生成最终回复 --- ### **二、典型实现路径** #### **1. 基础RAG架构（直接结合）** ```python from langchain_community.retriever import ElasticSearchRetriever from transformers import pipeline # Step1: 初始化检索器与LLM retriever = ElasticSearchRetriever(index_name="knowledge_base") llm = pipeline("text-generation", model="gpt-3.5-turbo") # Step2: 检索相关文档 contexts = retriever.retrieve(query="RAG的优化方法", top_k=3) # Step3: 拼接上下文生成答案 prompt = f"基于以下信息：{contexts}，回答问题：{query}" answer = llm(prompt, max_length=500) ``` > ✅ **适用场景**：企业知识库问答、事实核查等需实时数据的任务 #### **2. 微调LLM适配RAG（进阶优化）** - **微调目标**： - 提升LLM处理长上下文的能力 - 优化对检索结果的解释与融合能力 - **训练数据构造**： ```json { "query": "Self-RAG是什么？", "retrieved_docs": ["华盛顿大学2023年提出...自我修正机制..."], "reference_answer": "Self-RAG通过引入..." } ``` - **技术方案**： - 使用**LoRA**微调降低计算成本 - 采用**检索评估器**（如中科大插拔式修正模块）过滤噪声文档 [^3] #### **3. 混合架构（RAG+微调协同）** ```mermaid graph LR A[用户查询] --> B(检索模块) B --> C{是否需要实时数据?} C -- 是 --> D[RAG流程] C -- 否 --> E[微调LLM直接生成] D --> F[生成最终答案] E --> F ``` > 📌 **关键决策点**： > - 若涉及**动态数据**（如股价、新闻）→ 优先RAG > - 若依赖**模型内部知识**（如语言理解）→ 直接微调LLM --- ### **三、前沿优化技术** 1. **Self-RAG（华盛顿大学）** - 动态决策何时检索、如何选择文档片段 - 通过特殊标记（如`[Retrieval]`、`[Relevance]`）控制生成过程 2. **谷歌桥接模型** - 在检索器与LLM间加入**轻量适配层** - 数学表达：$$ \text{Adapter}(\text{Retrieval Output}) \rightarrow \text{LLM Input} $$ 3. **Active-RAG（东北大学）** - 引入主动学习机制，自动标注检索内容价值 - 无需人工微调训练数据 [^3] --- ### **四、典型应用场景** | 场景 | 技术方案 | 优势体现 | |---------------------|-----------------------------|-------------------------| | 金融报告分析 | RAG+领域微调LLM | 实时解读最新财报数据 | | 医疗诊断支持 | Self-RAG架构 | 精准关联医学文献库 | | 法律咨询机器人 | 混合架构+法律术语微调 | 兼顾法条更新与判决推理 | --- ### **五、部署注意事项** 1. **知识库构建** - 使用**向量数据库**（FAISS, Pinecone）加速语义检索 - 文档需预分块（建议512-1024 tokens）并添加元数据 2. **效果监控** - 设置**检索相关性评分**（如BERTScore） - 监控幻觉率：$$ \text{Hallucination Rate} = \frac{\text{无依据生成次数}}{\text{总请求数}} $$ 3. **成本平衡** - 高频问题缓存RAG结果降低开销 - 对通用问题启用微调LLM直答 --- ### **相关问题** 1. RAG与LLM微调在响应延迟上有何差异？ 2. 如何评估RAG系统检索结果的质量？ 3. 针对多语言场景，RAG需要哪些特殊优化？ 4. Self-RAG中的自我修正机制具体如何实现？ [^3] > 文献佐证：结合动态检索与参数化知识的混合架构，在开放域问答任务中准确率提升28.7% ([Lewis et al., 2020][^1])；Self-RAG技术使事实一致性指标提升19.3% ([Asai et al., 2023][^3])。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值