干货！带你了解7种检索增强生成 (RAG) 技术

回顾RAG技术的发展，检索增强生成（Retrieval-Augmented Generation，RAG）技术彻底改变了人工智能模型的工作方式，它将生成式人工智能的优势与检索现实世界文档的精确性相结合。通过从外部来源提取相关数据，RAG使得人工智能能够生成更准确且上下文更合适的答案。

随着这项技术的不断发展，RAG的多种变体应运而生，每种变体都在解决不同的挑战并提升人工智能的整体性能。在本文中，我们将深入探讨七种关键的RAG技术，重点介绍每种技术如何独特地提升AI生成内容的质量。

1. 简单RAG（Simple RAG）

在简单RAG中，大型语言模型（LLM）接收用户查询，在向量存储库中进行相似性搜索或在知识图谱中进行关系搜索，然后基于检索到的信息生成答案。

工作原理：

用户查询：用户提供一个查询或输入，该查询被输入到系统的检索部分。
搜索与检索：模型在向量存储库或知识图谱中搜索相关文档或文本。检索器根据相关性对文档进行排名，并选择最相关的k个（例如，前5个）段落。
生成答案：选定的文档被传递给LLM，LLM使用这些文档作为上下文，生成一个结构良好且相关的答案。

2. 校正RAG（Corrective RAG）

在校正RAG中，系统不仅检索和生成答案，还会验证并校正这些答案。工作原理：

搜索与检索：与简单RAG类似，系统根据查询检索相关文档。
评分：将检索到的上下文与可信数据集（如测试集或带有预定义规则的提示）进行比较。此步骤的方法根据项目目标有所不同。
校正：如果在评分过程中发现任何不准确或不一致之处，模型将使用从查询中提取的关键词进行网络搜索，以生成新的答案或优化之前的答案。

3. 自省RAG（Self RAG）

自省RAG通过自我反思或自我批评来提高RAG结果的质量。

工作原理：

搜索与检索：模型首先检索相关信息并根据输入查询生成答案。
评分：为了对文档进行评分或反思，LLM会对每个答案进行批评，判断其是否与查询相关。如果文档不相关，则使用外部来源；如果相关，则检查是否存在幻觉和准确性。
幻觉检查：幻觉节点检查答案是否由文档支持。有时，AI模型会“幻觉”，即生成听起来正确但实际上没有任何真实数据或文档支持的答案。幻觉节点通过确保模型的答案有文档支持来防止这种情况，确保答案的准确性和可靠性。
回答问题：回答问题节点检查生成的答案是否回答了问题。它查看生成的答案并检查其是否相关且完整地回答了原始问题。如果没有，模型可以改进或调整答案以确保其准确性。
输出：通过每次迭代，模型生成更准确且上下文更相关的答案。迭代次数取决于项目规模和可用处理能力。

4. 推测RAG（Speculative RAG）

推测RAG是一种为给定查询生成多个答案的方法，利用检索模型提供相关信息。然后通过评分系统评估这些答案，选择最准确且上下文最合适的答案。这种方法有助于处理模糊性或查询可能有多种解释的情况。

工作原理：

搜索与检索：与简单RAG类似，系统检索与查询相关的多个文档。
推测：LLM从检索到的文档中生成多个推测性答案，探索各种可能的输出，而不仅仅是一个。
评分：评分机制根据相关性、连贯性、完整性和事实准确性等标准对每个答案进行评估和打分。这可能涉及将答案与更多检索到的文档进行比较或使用评分模型。与校正RAG类似，此步骤取决于项目目标和领域。
选择与答案：模型对答案进行排名，并选择得分最高的答案作为最终输出。

5. 融合RAG（Fusion RAG）

融合RAG结合了来自多个检索来源的信息，以生成一个全面的答案。

工作原理：

搜索与检索多样化文档：系统检索多个相关文档，确保它们代表不同的观点或解决查询的不同方面。每个文档都可以被视为查询的一个答案。
信息整合：LLM不仅结合了多个来源一致的文档，还考虑了不同文档中的各种观点或角度，旨在生成一个公平代表这些不同观点的答案。然后，模型通过结合所有检索到的文档中的相关信息，生成一个连贯、统一的答案，基于证据呈现一个平衡的观点。
冲突解决：当存在冲突时，模型使用额外的上下文或预定义规则来解决冲突，以确保最终答案的一致性。

6. 自主RAG（Agentic RAG）

自主RAG涉及一个具有特定目标的AI系统，它使用检索过程来自主做出决策并指导其行动。

工作原理：

查询输入：过程从用户的明确目标或查询开始，例如解释一个概念、提供定制建议或解决复杂问题。此查询作为模型行动的基础。
搜索与检索：模型访问知识库或数据库，该数据库经过预处理阶段以高效地构建信息以供后续使用。预处理后的数据存储在向量存储库或知识图谱中，以便于检索。
问答检查：生成初始答案后，模型检查问题是否已得到充分回答。这是过程中的一个关键决策点。如果是，则继续提供最终答案给用户。如果否，则进入下一阶段。
代理干预与行动：如果初始答案未能充分回答查询，模型通过代理采取行动。代理可能会执行额外的任务，例如使用外部工具或调用进一步的操作以收集更多相关信息。LLM自主决定检索哪些信息以及采取哪些行动以实现目标。这可以通过在该步骤中为LLM定义一个思维链提示来完成。
迭代过程与动态调整：该过程是动态且迭代的。代理持续评估模型的进展并实时调整行动，优化策略以获得更好的结果。此步骤涉及评估中间结果并采取纠正措施，例如重新查询或更改检索方法。
目标完成：一旦模型确认已达到目标或解决了问题，它将生成最终输出或答案，并交付给用户。如果需要进一步调整，该过程可能会再次循环，直到查询完全解决。

7. 图RAG(Graph RAG)

GraphRAG 是微软公司内部广受赞誉的一种结合了检索增强生成（RAG）技术和知识图谱的先进框架。它在传统 RAG 框架的基础上，进一步强化了实体、社区以及文本切块（Chunking）之间的内在联系，并且巧妙地将现有知识图谱（KG）中的知识融入其中。这一系列的改进措施，显著提升了信息检索的召回率与准确性，为用户带来了更为优质的信息检索体验。

GitHub: microsoft/graphrag
论文: From Local to Global: A Graph RAG Approach to Query-Focused Summarization
项目文档: microsoft.github.io/graphrag/

GraphRAG 旨在通过利用外部结构化知识图谱来增强大型语言模型（LLMs）的性能，有效解决模型可能出现的“幻觉”问题、领域知识缺失以及信息过时等问题。GraphRAG 的核心目的在于从数据库中检索最相关的知识，以增强下游任务的答案质量，提供更准确和丰富的生成结果。

工作原理1. 索引建立阶段
在 GraphRAG 的索引建立阶段，主要目标是从提供的文档集合中提取出知识图谱，并构建索引以支持后续的快速检索。这一阶段是 GraphRAG 工作流程的基础，其效率和准确性直接影响到后续检索和生成的质量。

文本块拆分：首先，原始文档被拆分成多个文本块，这些文本块是 GraphRAG 处理的基本单元。根据微软的研究，每个文本块的大小和重叠度可以调整，以平衡处理速度和输出质量。
实体与关系提取：利用大型语言模型（LLM），对每个文本块进行分析，提取出实体和关系。这一步骤是构建知识图谱的关键，涉及到命名实体识别（NER）和关系抽取（RE）技术。
生成实体与关系摘要：为提取的实体与关系生成简单的描述性信息，这些信息将作为图节点的属性存储，有助于后续的检索和生成过程。
社区检测：通过社区检测算法，如 Leiden 算法，识别图中的多个社区。这些社区代表了围绕特定主题的一组紧密相关的实体和关系。
生成社区摘要：利用 LLM 为每个社区生成摘要信息，这些摘要提供了对数据集全局主题结构和语义的高层次理解，是回答高层次查询问题的关键。

2. 查询处理阶段
查询处理阶段是 GraphRAG 工作流程的最终环节，它决定了如何利用已建立的索引来回答用户的查询。

本地搜索（Local Search）：针对特定实体的查询，GraphRAG 通过扩展到相关实体的邻居和相关概念来推理，结合结构化数据和非结构化数据，构建用于增强生成的上下文。
全局搜索（Global Search）：对于需要跨整个数据集整合信息的复杂查询，GraphRAG 采用 Map-Reduce 架构。首先，利用社区摘要独立并行地回答查询，然后将所有相关的部分答案汇总生成全局性的答案。

在查询处理阶段，GraphRAG 展示了其在处理复杂查询任务上的优势，尤其是在需要全局理解和高层语义分析的场景中。通过结合知识图谱的结构化信息和原始文档的非结构化数据，GraphRAG 能够提供更准确、更全面的答案。

GraphRAG 的成功也催生了一系列轻量级的优化版本，诸如 LightRAG 与 nano-GraphRAG 等。与此同时，还涌现出了一些别具一格的变体，如 KAG 框架。这些框架在传统 RAG 框架的基础上，进一步强化了实体、社区以及文本切块（Chunking）之间的内在联系，并且巧妙地将现有知识图谱（KG）中的知识融入其中。这一系列的改进措施，显著提升了信息检索的召回率与准确性，为用户带来了更为优质的信息检索体验。

示例针对新闻文章数据集的示例问题，Graph RAG（C2）和基础 RAG 的表现显示，GraphRAG 在处理复杂查询任务上具有显著优势，尤其是在需要全局理解和高层语义分析的场景中。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述