AI知识库检索增强生成（RAG）简介

最近，大家总是提到关于AI知识库的 RAG，那 RAG 到底是什么呢？

Retrieval Augmented Generation（RAG）最初是在 2020 年提出的，它是一种端到端的方法，结合了预训练的检索器和预训练的生成器。当时，它的主要目标是通过模型微调来提高性能。

2022 年 12 月发布的 ChatGPT 标志着 RAG 的一个重要转折点。从那时起，RAG 更注重利用大型语言模型（LLM）的推理能力，通过结合外部知识实现更好的生成结果。

RAG 技术使开发人员无需为每项特定任务重新训练整个大规模模型。相反，他们只需连接相关知识库，为模型提供额外输入，即可提高答案的准确性。

本文将简单介绍 RAG 的概念、目的和特点。

什么是检索增强生成（RAG）？

检索增强生成（RAG）是通过从外部知识源纳入额外信息来增强大型语言模型（LLM）的过程。这能使 LLM 生成更准确、更能感知上下文的答案，同时还能减少幻觉。

在回答问题或生成文本时，首先要从现有知识库或大量文件中检索相关信息。然后使用 LLM 生成答案，通过纳入这些检索到的信息来提高答案的质量，而不是仅仅依靠 LLM 来生成答案。

下图展示了 RAG 的典型工作流程：

RAG 的典型工作流程

如图所示，RAG 主要包括以下步骤：

• 编制索引：索引编制过程是离线执行的重要初始步骤。首先要清理和提取原始数据，将 PDF、HTML 和 Word 等各种文件格式转换为标准化的纯文本。为了适应语言模型的上下文限制，这些文本被分成更小、更易于管理的块，这一过程被称为分块。然后，使用嵌入模型将这些分块转换为矢量表示。最后，创建一个索引，以键值对的形式存储这些文本块及其矢量嵌入，从而实现高效、可扩展的搜索功能。
• 检索：用户查询用于从外部知识源检索相关上下文。为此，用户查询由编码模型进行处理，生成语义相关的嵌入。然后，在向量数据库中进行相似性搜索，检索出最接近的 k 个数据对象。
• 生成：用户查询和检索到的附加上下文被填入一个提示模板。最后，将检索步骤中的增强提示输入 LLM。

为什么需要 RAG？

有了 LLM，为什么还需要 RAG？原因很简单：LLM 无法解决 RAG 可以解决的问题。这些问题包括：

• 模型幻觉问题：LLM 的文本生成基于概率。如果没有足够的事实支持，它可能会生成看似严肃但缺乏连贯性的内容。
• 及时性问题：LLM 的参数规模越大，训练成本就越高，所需的时间也就越长。因此，时间敏感数据可能无法及时纳入训练，导致模型无法直接回答时间敏感问题。
• 数据安全问题：通用 LLM 无法访问企业内部数据或用户隐私数据。为了确保使用 LLM 时的数据安全，一个好的解决方案是在本地存储数据，并在本地执行所有数据计算。云 LLM 只起到汇总信息的作用。
• 答案约束问题：RAG 提供了对 LLM 生成的更多控制。例如，当问题涉及多个知识点时，通过 RAG 检索到的线索可用来限制 LLM 生成的边界。

RAG 有哪些特点？

RAG 具有以下特点，使其能够有效解决上述问题：

1. 可扩展性：RAG 可缩小模型规模，降低培训成本，促进知识的快速扩展。
2. 准确性：模型根据事实提供答案，最大限度地减少错觉的出现。
3. 可控性：RAG 允许进行知识更新和定制。
4. 可解释性：检索到的相关信息可作为模型预测的参考。
5. 多功能性：RAG 可针对 QA、摘要、对话等不同任务进行微调和定制。

结论

就形象而言，我们可以把 RAG 比作法律硕士的开卷考试。与开卷考试类似，学生可以携带参考资料，以便在回答问题时查阅相关信息。

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

💥《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓