【RAG优化】一文整理20多种目前常用的 RAG 创新方法

程序猿李巡天

于 2025-03-19 20:31:09 发布

阅读量1.4k

点赞数 28

文章标签： microsoft 人工智能深度学习机器学习数据库

本文链接：https://blog.csdn.net/m0_59235945/article/details/146379791

版权

搜罗了一下目前常用的和比较前沿的RAG方法和研究，20多种。

0. 标准 RAG

介绍：一个基本的 RAG 系统由检索模块和生成模块组成。系统会对查询进行编码，检索相关的文档块，然后为基于 transformer 的 LLM 构建丰富的提示。
创新点 ：将外部知识动态注入生成过程，而无需修改 LLM 本身，就像是给 LLM 戴上了一副能随时获取新知识的 “眼镜”。
优点：简单有效，能够提升 LLM 的生成效果。
缺点：存在检索到很多与 query 无关的片段，增加噪声输入，与 query 关联的信息比较稀疏，需要 LLM 本身去提炼或挖掘利用。

在这里插入图片描述

1. GraphRAG

创新点：结合知识图谱与RAG，通过实体和关系建模增强语义关联，支持多跳推理和复杂查询。例如，利用图谱的拓扑结构优化检索路径，提升对开放域问题的回答质量。
优点：显著提高答案的全面性和逻辑性，适用于知识密集型任务（如医学、法律问答）。
缺点：图谱构建成本高，多模态图谱融合难度大。
论文：GraphRAG: Knowledge Graph Enhanced Retrieval-Augmented Generation

在这里插入图片描述

2. Modular RAG

创新点：模块化设计，灵活集成检索、重排序、生成等组件，支持定制化功能（如多答案整合、多轮对话）。
优点：扩展性强，适应不同领域需求。
缺点：组件协同优化复杂，系统调试成本高。
论文：https://arxiv.org/html/2407.21059v1

在这里插入图片描述

3. Advanced RAG

• 创新点：在检索前后增加预处理（如查询重写）和后处理（如结果重排），提升信息相关性。
• 优点：减少噪声干扰，优化生成质量。
• 缺点：流程复杂度增加，实时性受限。

在这里插入图片描述

4. TRAQ

• 创新点：结合Conformal Prediction和贝叶斯优化，提供端到端统计正确性保证，减少生成中的虚构现象。
• 优点：首个实现开放域问答的统计可信度框架。
• 缺点：依赖检索器和生成模型的性能假设。
• 论文：TRAQ: Trustworthy Retrieval-Augmented Question Answering

在这里插入图片描述

5. ColBERT

• 创新点：基于张量分解的语义检索模型，通过近似矩阵乘法加速检索，支持百亿级语料库的实时查询。
• 优点：检索效率高，兼顾语义和字面匹配。
• 缺点：预计算开销大，存储需求高。
• 论文：ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction

6. AgenticRAG

• 创新点：集成智能代理（Agent）技术，支持主动推理和用户个性化交互，如多轮对话中的上下文记忆。
• 优点：增强系统自主性，适应动态需求。
• 缺点：内存管理和计算资源消耗大。
• 链接：https://weaviate.io/blog/what-is-agentic-rag

在这里插入图片描述

7. Multimodal RAG

• 创新点：支持图像、音频等多模态数据检索与生成，如CLIP和BLIP模型的应用。
• 优点：跨模态信息整合，提升交互丰富性。
• 缺点：模态对齐技术不成熟，计算成本高。
• 链接：https://gautam75.medium.com/multi-modal-rag-a-practical-guide-99b0178c4fbb

在这里插入图片描述

8. HyDE（Hypothetical Document Embeddings）

• 创新点：生成假设性文档嵌入，引导检索过程，减少对显式知识库的依赖。
• 优点：增强零样本检索能力。
• 缺点：依赖生成模型的虚构风险。
• 链接：https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde

在这里插入图片描述

9. RARE（Retrieval-Augmented Reasoning Engine）

• 创新点：主动拆解用户问题为子查询，多轮迭代优化检索结果，模仿人类推理过程。
• 优点：解决复杂问题的多跳推理需求。
• 缺点：响应延迟显著增加。
• 论文：技术细节见RARE: Retrieval-Augmented Reasoning Engine

在这里插入图片描述

10. RA-DIT

• 创新点：结合微调（Fine-tuning）与RAG，通过参数调整优化检索与生成的协同。
• 优点：模型适应性强，支持领域定制。
• 缺点：训练数据需求量大。
• 论文：RA-DIT: Retrieval-Augmented Dual Instruction Tuning

在这里插入图片描述

11. DSP（Demonstrate-Search-Predict）

• 创新点：在推理阶段动态结合示例检索、搜索和预测，提升生成可控性。
• 优点：灵活适应多样化任务。
• 缺点：示例选择对性能影响大。
• 论文：Demonstrate-Search-Predict: Composing Retrieval and Language Models for Knowledge-Intensive NLP

在这里插入图片描述

12. RETRO

• 创新点：在预训练阶段引入检索机制，增强模型的知识内化能力。
• 优点：生成内容更准确，减少幻觉。
• 缺点：预训练成本极高。
• 论文：Improving Language Models by Retrieving from Trillions of Tokens

在这里插入图片描述

13. Self-RAG

• 创新点：模型自主决定何时检索，动态调整生成策略，平衡检索成本与效果。
• 优点：自适应性强，资源利用率高。
• 缺点：需要复杂的提示工程。
• 论文：Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection

在这里插入图片描述

14. KG2RAG

• 介绍：利用知识图谱来增强 LLM 生成效果，将检索文档 + rank 方式和利用图谱（知识库）两种方式融合起来
• 创新点：将知识图谱直接映射为检索源，利用图遍历技术优化实体关系查询。
• 优点：结构化知识利用率高。
• 缺点：图谱更新和维护复杂。
• 链接：https://arxiv.org/html/2502.06864v1

在这里插入图片描述

15. CoRAG（Collaborative RAG）

• 介绍：考虑块间相关性，使用蒙特卡洛树搜索（MCTS）框架处理添加块的单调效用问题，还使用设置代理适应各种查询类型
• 创新点：多模型协作检索与生成，通过投票或加权融合提升结果鲁棒性。
• 优点：减少单一模型偏差。
• 缺点：系统集成复杂度高。
• 论文：https://arxiv.org/pdf/2501.14342

在这里插入图片描述

16. Auto-RAG

• 介绍：使用 LLM 细化查询，通过多轮对话规划检索，直到收集到足够信息的自主方法。该系统会根据问题难度自适应调整，并用自然语言解释其过程。
• 创新点 ：通过多轮对话来细化查询和规划检索，能够根据问题难度自适应调整。
• 优点：对问题难度的适应性高。
• 缺点：需要多轮对话处理，实现复杂。
• 论文 : https://arxiv.org/pdf/2411.19443

在这里插入图片描述

17. MemoRAG

• 介绍：采用具有长期记忆的双系统方法。轻量级 LLM 创建数据库的 “全局记忆” 并生成回答草稿以指导检索工具，而更强大的 LLM 使用检索到的数据生成最终回答。
• 创新点 ：通过轻量级 LLM 和强大 LLM 的组合来实现高效处理。
• 优点：能够通过轻量级 LLM 和强大 LLM 的组合实现高效处理。
• 缺点：需要构建双系统。
• 链接：https://github.com/qhjqhj00/MemoRAG
• 论文：https://arxiv.org/pdf/2409.05591

在这里插入图片描述

18. HtmlRAG

• 介绍：直接使用 HTML，保留标题、表格等有价值的信息结构，而不是使用纯文本。通过清理和修剪技术处理 HTML 中的额外噪音和大小。
• 创新点 ：保留了 HTML 中的结构化信息，如标题和表格等。
• 优点：能够保留更多的信息结构，有助于提高生成结果的质量。
• 缺点：需要对 HTML 进行噪声处理。
• 论文：https://arxiv.org/pdf/2411.02959

在这里插入图片描述

19. FastRAG

• 介绍：使用模式和脚本学习高效处理数据，不完全依赖 AI 模型的方法。结合文本检索和知识图谱查询，提高精度，减少 90% 的处理时间和 85% 的成本。
• 创新点 ：结合了文本检索和知识图谱查询，并通过模式和脚本学习来提高处理效率。
• 优点：显著减少处理时间和成本。
• 缺点：模式和脚本学习的适用范围有限。
• 论文：https://arxiv.org/pdf/2411.13773

在这里插入图片描述

20. 其他方法（简要列举）

• FLARE：迭代检索与生成结合，动态扩展上下文窗口。
• RePlug：检索增强的预训练语言模型，支持多任务学习。
• Atlas：基于稠密检索的大规模知识增强模型。
• FiD（Fusion-in-Decoder）：在解码阶段融合多检索结果，提升生成多样性。
• RAGFlow：集成多模态文档解析（如DeepDoc模块），支持PDF、图像等非结构化数据处理。

总结

以上方法覆盖了RAG技术的核心方向，包括图谱增强、模块化设计、多模态扩展、自适应检索等。未来趋势将聚焦于多模态融合、动态推理优化和轻量化部署。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述