自省式RAG 与 LangGraph的实践

最新推荐文章于 2025-01-21 22:13:06 发布
最新推荐文章于 2025-01-21 22:13:06 发布
阅读量1k 收藏 11
点赞数 21
文章标签： 人工智能 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/137052376
版权
本文介绍了自省式RAG（Retrieval-Augmented Generation）的概念，它利用大型语言模型进行自我校正，提高检索质量和生成内容的品质。通过LangGraph工具，实现了自省式RAG的流程，展示了其在CRAG（Corrective RAG）和Self-RAG中的应用，强调了状态机在支持循环操作和决策点中的重要性。自省机制使RAG能够自我纠正检索和生成过程中的问题，提升了整体功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

自省式 RAG

对实现 RAG 的步骤进行逻辑分析：比如，我们需要知道什么时候进行检索（基于问题和索引的构成）、何时改写问题以提升检索效率，或者何时抛弃无关的检索结果并重新检索。因此提出了自省式 RAG，自省式 RAG 利用大型语言模型自我校正检索质量不佳或生成内容不够优质的问题。

基础 RAG 流程，实质上是种链式过程：大型语言模型根据检索到的文档来决定生成的内容。有些 RAG 运作模式采用的是路由机制，大型语言模型会根据提出的问题选择不同的检索器。但是自省式 RAG 通常需要某种反馈机制，比如重新生成问题或重新检索文档。这时候，状态机制作为第三种认知架构，因其能够支持循环操作而非常适用：状态机可定义一系列步骤（例如检索、评估文档、改写问题）并设置它们的转换逻辑；比如，如果我们检索到的文档无关，我们可以重新改写问题再进行检索。

图片

利用认知架构实施 RAG 的示意图

利用 LangGraph 实现自省式 RAG

LangGraph，简单

最低0.47元/天 解锁文章
lichunericli
关注
SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
c_cpp_csharp的专栏
10-20 1158
尽管大型语言模型（LLM）具有非凡的能力，但由于它们仅依赖于所封装的参数知识，因此它们通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强LM的特别方法，减少了此类问题。然而，不分青红皂白地检索和合并固定数量的检索段落，无论检索是否必要，或者段落是否相关，都会削弱LM的通用性，或者可能导致无益的响应生成。我们引入了一个新的框架，称为自反射检索增强生成（Self-RAG），通过检索和自反射来提高LM的质量和真实性。
SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION----自我反思：学会通过自我反思来检索
Mars_prime的博客
03-28 1658
尽管大型语言模型（LLM）具有非凡的能力，但由于它们完全依赖于它们封装的参数知识，因此通常会产生包含事实不准确的响应。检索增强生成（RAG）是一种通过检索相关知识来增强语言模型的临时方法，可以减少此类问题。然而，不加区别地检索和合并固定数量的检索到的段落，无论检索是否必要，或者段落是否相关，都会降低 LM 的多功能性或可能导致生成无用的响应。我们引入了一个名为自反射检索增强生成（SELF-RAG）的新框架，它通过检索和自反射来提高 LM 的质量和事实性。
Self-RAG：通过自我反思学习检索、生成和批判
安静的软件工程师
01-20 2284
Self-RAG学习检索、生成和批评，以提高 LM 的输出质量和真实性，在六项任务上优于 ChatGPT 和检索增强的 LLama2 Chat。
Self-RAG
pumpkin84514的博客
01-16 1215
Self-RAG 是一种将生成模型与自我引用增强结合的技术，通过在生成过程中多次引用和修正自己的输出，来提升模型生成的质量。它能够通过层层推理和自我改进，逐步产生更高质量的答案，尤其适合于复杂的推理任务。尽管存在计算成本和潜在的错误积累问题，但这种方法为生成式AI带来了新的思维方式和更高的解答精度。
一文彻底搞懂Self-RAG【上】：自省式RAG的原理与应用
2401_84204413的博客
06-17 3476
之前我们探讨过RAG Flow，其实很难有完美的RAG范式匹配所有需求，毕竟业务需求是复杂的：有的需要绝对的准确性，有的则更看重灵活性；有的用来搜索，有的用来聊天，也有的用来服务其他Agent。后续我们会选择一些典型的RAG研究项目做深入实践，希望对大家在应用时提供更多的参考价值。，很多朋友或许听过，即自省式RAG。其原始Paper与开源项目很容易看的云里雾里，被一些数学符号与公式吓到，且其中有大量内容是关于算法与模型微调，而应用层面介绍较少。
Self-RAG：通过自我反思学习检索、生成与批判
2401_84208172的博客
10-16 1134
本文介绍了一种新的框架Self-Reflective Retrieval-Augmented Generation (SELF-RAG），旨在通过需检索和自我反思机制来提高大型语言模型（LLMs）的生成准确性和事实性。现有检索增强生成（RAG）方法虽能减少LLMs因参数化知识导致的事实错误，但存在检索无关信息或未能充分利用检索结果的问题。SELF-RAG允许任意LLM自适应地选择相关段落，并利用特殊标记进行内容生成与反思，从而在保持多样性的同时提升准确性。相比以往方法，该框架不仅改进了生成质量，还兼顾了运行
SELF-RAG: 通过自我反思学习检索、生成和批判
Yuleave的博客
01-21 1212
SELF-RAG 是一种创新的框架，通过按需检索和自我反思来提高 LLM 的生成质量和事实准确性。实验结果表明，SELF-RAG 在多个任务上均优于现有的 LLM 和 RAG 方法。SELF-RAG 的核心思想是让 LLM 在生成过程中进行自我反思，并通过生成特殊的**反思标记（Reflection Tokens）**来控制其行为。SELF-RAG 在推理过程中通过生成反思标记来自我评估其输出，从而实现对模型行为的控制。来提高 LLM 的生成质量和事实准确性，同时不损害其创造力和灵活性。
Self-RAG讲解
xnuscd的博客
11-12 1260
首先，定义图的状态结构，包含问题、生成的回答、是否进行网络搜索以及相关文档列表。表示图的状态。属性：question: 用户问题generation: LLM生成的回答web_search: 是否进行网络搜索documents: 文档列表解释：GraphState：定义了图的状态结构，包括用户问题（question）、生成的回答（generation）、是否进行网络搜索（web_search）和相关文档列表（documents构建图的逻辑流程，包括检索、生成、评分和重写等节点。"""
SELF-RAG: 让LLM集检索，生成跟评判等多种能力于一身
WitsMakeMen的专栏
11-18 1118
尽管基础能力出众，但是大模型只能依赖于被压缩到模型参数中的知识，所以经常会生成不符合事实的回复。针对这种事实性错误，目前主流的解决方案是知识增强，引入外部的知识源来引导模型生成。但是不考虑具体情形，一味地去检索外部文档可能会损害语言模型的多样性，生成不合适的回复。基于此，有研究人员提出了Self-Reflective Retrieval-Augmented Generation(SELF-RAG)，一种新的大模型知识增强框架，可以通过检索跟自我反思提升大模型生成的质量跟事实可靠性。
SELF-RAG 教程：通过自我反思学习检索、生成和批判
步子哥的博客
09-11 1091
SELF-RAG 是一种能够通过自我反思提升生成质量的新型框架。它结合了检索、多次生成和批判性反思，能够在不同的任务场景下提供高质量的回答。通过本教程，你应该能够理解 SELF-RAG 的核心思想，安装并运行它，设置检索器，训练批判和生成模型，并进行推理和基准测试。
【RAG 论文】Self-RAG：引入自我反思的大模型 RAG 框架
VLyb
04-21 7450
Self-RAG：在 RAG 框架中引入自我反思机制，提高检索增强的效果
SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION翻译
nopSled
10-26 1020
尽管模型和数据规模不断扩大，SOTA的LLM仍然会产生事实类错误。检索增强生成 (RAG) 方法（图 1 左）通过检索相关段落来增强LLM的输入，从而减少知识密集型任务中的事实错误。然而，这些方法可能会阻碍LLM的多功能性，或者引入不必要的或偏离主题的段落，从而导致低质量的生成，因为它们不加区别地检索段落，而且不管事实基础是否有帮助。此外，不能保证输出与检索到的相关段落一致，因为模型没有经过明确的训练来利用和遵循所提供段落中的事实。
RAG实战篇：Self-RAG，通过自我反思大幅提升内容生成质量
m0_59164304的博客
10-17 926
在这篇文章中，详细介绍了如何通过Self RAG来优化最终生成结果。Self RAG的核心在于四个关键的评分器，即检索需求评分器、检索相关性评分器、生成相关性评分器和回答质量评分器。至此，我们已经完成了RAG系统全部环节的优化方案，包括索引、查询转换、路由、查询构建、检索召回和内容生成。至此，相信大家对RAG系统已经有了更加深刻的认识，并且能够搭建一个相对完整的RAG系统。在整个RAG的生态中，还有两座山峰是我们绕不过去的。一座是RAG和知识图谱的结合，用于大幅提升RAG系统的推理和总结能力；
【论文阅读】SELF-RAG，让模型决策和反思检索
bylander的博客
06-06 1507
Self-Rag框架训练流程涉及两个模型，一个是评价模型（Critic Model），一个是生成模型（Generator Model）。大概方法是，借助GPT-4形成数据集，训练评价模型；然后通过评价模型，生成新的数据集，再来训练生成模型。
【AI论文精读6】SELF-RAG（23.10）P1
AI完全体
10-18 1442
论文精读：该论文训练了一个单一的语言模型，该模型能够根据需要自适应地进行段落检索。在多项任务上显著超越了当时最新的大型语言模型和检索增强模型。我前面读的两篇RAG综述论文都提到了它。它是我后面要读的一篇RAG论文的重要基础。代码和模型开源，且附录部分有对实验部分的详细说明，方便学习和参考。这是第1部分。
使用 LangGraph 构建可靠的 RAG 代理
m0_59163425的博客
07-01 1861
在这里，我们将使用 LangGraph、Groq-Llama-3 和 Chroma 构建可靠的 RAG 代理。我们将结合以下概念来构建 RAG 代理。自适应 RAG (论文我们已经实现了本文中描述的概念，构建了一个路由器，用于将问题路由到不同的检索方法。校正 RAG (论文我们已经实现了本文中描述的概念，开发了一个回退机制，用于在检索到的上下文与所问问题不相关时继续进行。自身 RAG (论文我们已经实现了本文中描述的概念，开发了一个幻觉评分器，即修正那些产生幻觉或未回答所问问题的答案。
【AI论文精读6】SELF-RAG（23.10）P2
AI完全体
10-19 1305
论文精读：该论文训练了一个单一的语言模型，该模型能够根据需要自适应地进行段落检索。在多项任务上显著超越了当时最新的大型语言模型和检索增强模型。我前面读的两篇RAG综述论文都提到了它。它是我后面要读的一篇RAG论文的重要基础。代码和模型开源，且附录部分有对实验部分的详细说明，方便学习和参考。这是我对第2部分的解读。
论文 | SELF-RAG: LEARNING TO RETRIEVE, GENERATE,AND CRITIQUE THROUGH SELF-REFLECTION
m0_49651195的博客
06-20 1609
因此，在评估这次输出的IsSup（响应支持度）的分数时，就可以基于logprobs中这些tokens的概率来计算（上面例子中，显然[Fully supported]这个token的概率越高，说明支持度越高）。（就是假设LLM是一个优秀的学生，那么RAG就是一本参考书，这个问题就是LLM在考试的时候可以翻阅参考书，但是选取的知识点用来解答问题不是考题所涉及的知识点，所以最终会导致回答错误）比如提供的知识中只有“中国的首都是北京”，而输出内容中有“北京是中国的首都，北京最受欢迎的景点是长城。
一文彻底搞懂Self-RAG【下】：构建自省式的RAG应用与模型微调
2401_84204413的博客
06-17 1639
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。注意看下图中的两个例子，右边的例子中借助评估模型的判断，发现需要检索，因此插入了[Retrieve]，[Relavant]等标记token，据此形成了一条新的训练数据。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
langgraph rag
最新发布
03-22
- **Iterative RAG**: 进行多次迭代式的检索操作，逐步改进检索结果的质量并动态调整生成的内容。 这些不同模式的选择取决于具体的场景需求以及输入查询的特点。 #### 工作流构建示例 为了更好地理解如何实际应用 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值