大模型RAG技术（一）核心范式、关键技术及未来发展趋势

在人工智能的浪潮中，大型语言模型（LLMs）以其卓越的多功能性和智能化水平，彻底改变了我们与信息互动的方式。然而，这些模型并非完美无缺，它们可能产生误导性的“幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏对专业领域的深入洞察，同时在推理能力上也有所欠缺。为了应对这些挑战，检索增强生成（Retrieval-Augmented Generation，RAG）技术应运而生，成为AI研究领域的一个激动人心的进展。

• 论文原文：https://arxiv.org/abs/2312.10997
• 官方仓库：https://github.com/Tongji-KGLLM/RAG-Survey

一、RAG是什么？

在RAG模型的一个典型应用场景中，我们可以观察到其处理信息的高效能力。例如，当用户向聊天机器人ChatGPT提出有关OpenAI首席执行官Sam Altman在短时间内被解雇然后又被重新任命的事件时，由于ChatGPT的预训练数据没有包含这一最新动态，它无法提供答案。然而，RAG模型通过访问外部知识库，检索到与用户问题相关的最新新闻报道，有效地弥补了这一信息差距。这些报道被整合进原始问题中，形成一个详细的提示，使得ChatGPT能够结合这些最新信息，提供一个有根据且综合的回答。

二、RAG技术范式发展

RAG技术自2020年首次提出以来，便迅速成为研究领域的热点。其发展过程可以划分为几个显著的阶段，具体如图中所示。在最初的发展阶段，研究者们致力于探索如何将额外知识融入预训练模型中，以提升语言模型的综合能力。随着ChatGPT的推出，对大型模型进行深度上下文学习的兴趣显著增加，这为RAG技术的迅速发展注入了新的动力。

随着大型语言模型（LLMs）潜力的进一步挖掘，研究者们开始专注于提高模型的可控性，以适应不断变化的需求。RAG技术的研究逐渐转向增强模型的推理能力，并在微调过程中探索多种改进策略。特别是GPT-4的发布，标志着RAG技术进入了一个新的发展阶段。研究的重点转向了一种结合RAG和微调策略的新方法，并持续优化预训练方法，以实现更高效的知识整合和信息处理。

在 RAG 的技术发展过程中，我们从技术范式角度，将其总结成如下几个阶段：

1. 朴素RAG（Naive RAG）

在前述案例中，我们见证了RAG的经典流程，通常称为朴素RAG。这一流程主要分为三个核心步骤：

• 索引 — 将文档库分解为较短的片段（Chunks），并利用编码器创建向量索引。
• 检索 — 根据问题与文档片段的相似度来检索相关的文档片段。
• 生成 — 利用检索到的文档片段作为条件，生成对问题的回答。

2. 进阶RAG（Advanced RAG）

朴素RAG在检索质量和生成响应的质量上面临一些挑战，并在增强过程中需要改进。为了解决这些问题，进阶RAG模型应运而生，它在索引、检索前和检索后阶段都进行了优化处理。通过更细致的数据清洗、文档结构设计和元数据添加，提高了文本的一致性、准确性和检索效率。在检索前阶段，可以通过问题重写、路由和扩展来减少问题与文档块之间的语义差异。在检索后阶段，可以通过重排序检索结果来避免“迷失在中间”的现象，或通过上下文筛选和压缩来缩短处理窗口。

3. 模块化RAG（Modular RAG）

随着RAG技术的持续发展，出现了突破传统朴素RAG检索—生成框架的新技术。我们提出了模块化RAG的概念，它在结构上更为自由和灵活，集成了更多具体的功能模块，如查询搜索引擎、合并多个答案等。技术上，它融合了检索与微调、强化学习等方法。在流程设计上，对RAG的各个模块进行了精心设计和编排，形成了多样化的RAG模式。值得注意的是，模块化RAG并非凭空出现，而是在前两种范式的基础上继承和发展而来。进阶RAG是模块化RAG的一种特殊形式，而朴素RAG则是进阶RAG的一种特例。

---

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

5. 大模型面试题

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】