SELF-RAG 论文详解

最新推荐文章于 2024-07-12 23:11:20 发布
最新推荐文章于 2024-07-12 23:11:20 发布
阅读量918 收藏 9
点赞数 22
分类专栏： LLM RAG 生成增强 文章标签： 语言模型 人工智能 RAG LLM 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Anooyman/article/details/136280022
版权
LLM 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
RAG
5 篇文章 1 订阅
订阅专栏
生成增强
2 篇文章 0 订阅
订阅专栏

论文：
https://arxiv.org/pdf/2310.11511.pdf
code：
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb?ref=blog.langchain.dev

在这里插入图片描述

相关工作

RAG

尽管 RAG 方法可以通过检索生成得到更为准确的结果，但是不可避免的是会引入以下几个问题：

  • 降低运行效率
  • 对于不相关上下文的鲁棒性，即如果上下文无关，则容易检索出不相关信息
  • 缺乏归因，个人理解为无法找到很好的支撑点，即无法确认产生的结果是否是因为检索回来的内容导致的

为解决上述问题，作者提出了一种方法，训练任意的 LM 模型，使其可以可以根据不同指令的需求查询检索相关文献。并且通过 reflections token 引导生成受控的内容，以进一步提高生成的质量。

Concurrent RAG work/并行 RAG 工作

已有的一些工作会提出一些新的训练方法或者 prompt 策略来提高 RAG 的效果。例如，分两步在instruction-tuning 数据集上对 retriever 和 LM 进行微调；利用摘要模型过滤或者压缩检索段落等。

在训练和生成阶段引入 critics

训练 LLM 的时候引入 RLHF（Reinforcement Learning from Human Feedback）已经被证明是一个非常有效的方法。与已有方法不同的是，Self-RAG 在包含 reflection tokens 的离线任务示例上训练 LM，相较于 RLHF 训练成本低了很多。

Reflection token 定义

作者定义了如下的几个 token 来辅助生成，在文中统一称为 reflection token，如下图所示：
在这里插入图片描述

  • Retrieve token：决定是否需要调用 retriever 来检索相关信息
  • IsRel token：决定检索回来的信息是否和 input prompt 相关
  • IsSup token：决定检索回来的信息是否可以支撑生成结果
  • IsUse token：判断生成结果是否是对input prompt 有用和有信息的回答，与它是否事实无关

训练流程

在这里插入图片描述

Training critic 模型

创建数据集

作者通过 GPT-4 生成 reflection token 来创建监督数据并将这部分知识加入到 in-house 的 critical model 中。

以 Retrieve token 为例，作者用特定的指令集（Given an instruction, make a judgment on whether finding some external documents from the web helps to generate a better response.） 提示 GPT-4 ，随后加入 few-shot 演示结果，包括原始的输入，输出以及正确的 reflection token。 手动评估显示，GPT-4 reflection 预测与人类评估高度一致。

Critic 模型学习

在收集训练数据后，作者用预先训练的 LM 作为初始化的 Critic model，之后用标准 LM 目标在训练数据集上训练它，最大化可能性，如下图所示：
在这里插入图片描述

训练生成模型

创建数据集

给定输入输出对（x，y），作者使用检索到的信息和 critic 模型来增强原始输出，以创建精确模拟Self-RAG 推理时间过程的监督数据。

  • 对于每一个 segment，作者调用 critic model 来评估是否需要额外的信息来增强生成。
  • 如果判断是需要检索，则会将 Retrieve token 设置为 True 并且检索 top-K 的段落。
  • 对于每一个检索返回的段落，Critic 模型会进一步用 IsRel token 来评估该段落是否和预测相关。
  • 如果段落是相关的，Critic 模型会进一步用 IsSup token 来评估该段落是否支持模型的生成结果。
  • （论文中写道 IsRel token 和 IsSup token 会被追加到检索段落或者生成段落之后，这个地方和用 LangGraph 实现的 code 有一些不一致，code 中直接将其作为判断节点，进行后续操作）
  • 最后 Critic 模型会用 IsUse token 评估是否需要被使用，最终将经过增强的输出和 reflection token 以及原始的输入作为 pair 对加入到数据集中。

生成器训练

作者用标准的下一个令牌目标在上述生成的具有 reflection token 的语料库上训练生成器模型，具体目标函数如下：
在这里插入图片描述
与 Critic 训练不同，生成器训练用于预测目标输出以及 reflection token。在训练过程中，作者屏蔽了检索到的文本块以进行损失计算，并新增了一组 reflection token｛Critique，Retrieve}。

推理流程

  • 对于每个输入和上次生成的结果，模型（Self-RAG）会对 retrieval token 进行解码，评估是否需要进行 retrieval
  • 如果不需要检索，则模型会和正常 LM 一样预测下一个输出段落
  • 如果需要检索，模型会生成一个 critique token 评估检索回来段落的相关性、下一段落的输出和一个 critique token 评估生成的下一段落输出是否得到了检索回来段落的支撑
  • 最终一个新的 critique token 会用来评估整体输出的质量
    在生成每个段落的时候，Self-RAG 并行处理多个段落（Tree-decoding），并用自己生成的 reflection token 对生成的结果进行软约束或者硬约束。如图所示。
    在这里插入图片描述

Tree-decoding with critique tokens

在每个 segment ，当需要检索时，会检索 K 个段落，生成器M并行处理每个段落并输出K个不同的连续候选。每个 segment 和检索段落都会有一个 critic 分数，该分数是每个 critique token 类型的归一化概率的线性加权和。每个 segment 的分数计算公式如下：
在这里插入图片描述

实验结果

对比实验

在这里插入图片描述

消融实验，参数敏感性实验

在这里插入图片描述
在这里插入图片描述

Anooyman
关注
  • 22
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文笔记】检索还是生成回复？RAG：我都要
weixin_43214867的博客
01-08 2074
Facebook AI research 联合 UCL 和纽约大学于 2020 年提出外部知识检索加持下的生成模型，Retrieval-Augmented Generation (RAG)
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
超越ChatGPT和Llama2，新一代检索增强方法Self-RAG来了
11-17
超越ChatGPT和Llama2，新一代检索增强方法Self-RAG来了 大型语言模型（LLMs）具有出色的能力，但由于完全依赖其内部的参数化知识，它们经常产生包含事实错误的回答，尤其在长尾知识中。为了解决这一问题，之前的研究人员提出了检索增强生成（RAG），它通过检索相关知识来增强 LMs 的效果，尤其在需要大量知识的任务，如问答中，表现出色。但 RAG 也有其局限性，例如不加选择地进行检索和只整合固定数量的段落，可能导致生成的回应不够准确或与问题不相关。
RAG的10篇论文-2024Q1
我相信......
04-21 1806
大模型来了，论文都读不过来了。在大型模型的研究与工程应用领域，变化之迅猛令人瞠目，用“日新月异”来形容似乎都显得有些保守。即便是针对其中的RAG技术，自2024年伊始至今，学界就已经涌现出了很多高质量的研究论文。在这里，老码农挑选了十篇具有代表性的作品，以期对大家的探索和实践提供有益的参考与启示。1. RAG与微调：流水线、权衡和一个农业案例的研究论文标题：RAG vs Fine-tuning:...
Langchain新玩法：LangGraph赋能RAG Agent，自适应、自校正、Self-RAG，一网打尽！
m0_59235945的博客
05-30 934
Langchain的新框架，LangGraph结合3个突破性的框架：Corrective Retrieval Augmented Generation (CRAG，自纠正检索增强生成), Self-Reflective Retrieval-Augmented Generation (Self-RAG，自反射检索增强生成) , Adaptive QA framework（自适应 QA 框架）。重新定义语言模型的能力。
RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读
ZhenL9911的博客
06-26 1734
很多参数知识存储在LLMs中的参数中（LAMA这篇文章证明），针对下游任务微调之后可以取得SOTA效果。但是这种方式具有一定的劣势：在Open-QA任务上，仍然还很欠缺，（语言模型还不能很好的获取精确知识）、给出的答案不具有可解释性，对于知识库无法实现实时更新的效果，不便于更新。论文提出RAG：参数化知识（BART预训练学到的知识） ＋ 非参数化知识（维基百科的密集向量索引）结合的方式来解决这三类问题。开放域问答。
RAG原理、综述与论文应用全解析
狮子座明仔知识集散场
04-03 4473
1.1 定义检索增强生成 (Retrieval-Augmented Generation, RAG) 是指在利用大语言模型回答问题之前，先从外部知识库检索相关信息。早在2020年就已经有人提及RAG的概念（paper：Retrieval-augmented generation for knowledge-intensive nlp tasks），首版发布在arxiv于2020年5月，当年还是seq2seq的时代，但实验就已经发现，通过检索，能快速从海量知识中找到和原本问题相关的知识，借助知识带来的信息能提
RAG综述论文详解
小然的百宝盒
01-12 216
大型语言模型（LLMs）在自然语言处理（NLP）领域的表现超越了之前任何模型。GPT系列模型、LLama系列模型、Gemini以及其他大型语言模型在多个评估基准上展现了卓越的语言和知识掌握能力，超越了人类水平。然而，大型语言模型也显示出许多缺点。它们常常制造虚假事实，在处理特定领域或高度专业化的查询时缺乏知识。例如，当所需信息超出模型训练数据的范围或需要最新数据时，LLM可能无法提供准确的答案。这一限制在将生成型人工智能部署到现实世界的生产环境中构成挑战，因为盲目使用黑盒LLM可能不够。
生成式人工智能-rag的全面介绍文献
01-23
《生成式人工智能-RAG的全面介绍文献》 生成式人工智能（Generative AI）近年来发展迅速，其中RAG（Retrieval-Augmented Generation）作为一种新兴技术，已经在自然语言处理领域引起了广泛的关注。RAG通过结合大型...
freeboard-widget-rag:这是http的小部件插件
05-24
干舷RAG小部件插件这是的窗口小部件插件，显示一个简单的RAG（红色/琥珀色/绿色）指示器。安装在基本的“ freeboard.widgets.js”文件和任何其他小部件插件文件之后，将freed.ragIndicator.js包含在您的干版主网页中...
任天行网络安全管理系统SURF-RAG产品概述20130527.pdf
10-14
任天行网络安全管理系统SURF-RAG产品概述20130527.pdf
论文阅读：Retrieval-augmented Generation across Heterogeneous Knowledge
qq_44773028的博客
11-24 2091
检索增强生成（RAG）方法越来越受到NLP社区的关注，并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比，
12个RAG常见痛点及解决方案
deephub
02-03 4800
我们探讨了在开发RAG管道过程中的12个痛点(其中7个来自论文，另外5个来自我们的总结)，并针对这些痛点提出了相应的解决方案。下面是本文的引用参考作者:Wenqi Glantz。
写的太通透了！大模型自省式 RAG 与 LangGraph 的实践！
2301_78285120的博客
02-12 1982
自省机制可以显著提升 RAG 的功能，允许改正检索和生成过程中的质量问题。几篇最新的 RAG 论文都着重讨论了这一主题，但要将这些理念实际应用起来有着不小的难度。本文展示了如何利用 LangGraph 进行“流程工程化”地实施自反式 RAG。我们还提供了实施两篇引人注目的论文 —— Self-RAG 和 CRAG 中的理念的详细指导。
AGI 之 【Hugging Face】 的【问答系统】的 [构建问答系统] / [ 构建基于评论的问答系统 ] 的简单整理
仙魁XAN
07-12 635
AGI，即通用人工智能（Artificial General Intelligence），是一种具备人类智能水平的人工智能系统。它不仅能够执行特定的任务，而且能够理解、学习和应用知识于广泛的问题解决中，具有较高的自主性和适应性。AGI的能力包括但不限于自我学习、自我改进、自我调整，并能在没有人为干预的情况下解决各种复杂问题。AGI能做的事情非常广泛：跨领域任务执行：AGI能够处理多领域的任务，不受限于特定应用场景。自主学习与适应：AGI能够从经验中学习，并适应新环境和新情境。
聊聊如何在内网下构建大模型微调环境
python1234567_的博客
07-12 666
LlamaFactory新版更新后，还是比较方便，只是说llamafactory-cli命令的确是有点蒙，踩个坑就好了。对于LlamaFactory微调来说，本身不难，毕竟都是配置；主要是在内网环境下的依赖包拉取安装是真麻烦，但其实也还好。走一遍的话，还是可以学到很多的。​。
YOLOv10改进 | 特殊场景检测篇 | 轻量级的低照度图像增强网络IAT改进YOLOv10暗光检测（全网独家首发）
热门推荐
Snu77的博客
07-11 1万+
本文给大家带来的改进机制是轻量级的变换器模型：Illumination Adaptive Transformer (IAT)，用于图像增强和曝光校正。其基本原理是通过分解图像信号处理器（ISP）管道到局部和全局图像组件，从而恢复在低光或过/欠曝光条件下的正常光照sRGB图像。具体来说，IAT使用注意力查询来表示和调整ISP相关参数，例如颜色校正、伽马校正。模型具有约90k参数和约0.004s的处理速度，能够在低光增强和曝光校正的基准数据集上持续实现优于最新技术（State-of-The-Art, SOTA）
Open-TeleVision——通过VR沉浸式感受人形机器人视野：兼备远程控制和深度感知能力
最新发布
结构之法 算法之道
07-12 855
这篇论文的链接，我当时快速看了一遍，还是有价值的一个工作(其应该有受humanplus工作的其他)，一直想做下解读来着，无奈过去一周一直在弄mamba2的解读，所以没来得及弄。码器捕捉图像和本体感觉标记的关系，Transformer解码器输出特定块大小的动作序列。手腕的姿态流式传输到服务器。服务器将人类姿态重新定向到机器人，并将关节位置目标。如下图所示，便是TeleVision的远程操作数据收集和学习设置。7.3日，我司大模型机器人(具身智能)线下营群里的一学员发了《左：我们的远程操作系统。
阿里发布大模型发布图结构长文本处理智能体，超越GPT-4-128k
夕小瑶科技说
07-09 832
随着大语言模型的发展，处理长文本的能力成为了一个重要挑战。虽然有许多方法试图解决这个问题，但都存在不同程度的局限性。最近，阿里巴巴的研究团队提出了一个名为GraphReader的新方法，通过将长文本组织成图结构，并利用智能体来探索这个图，成功提升了模型处理长文本的能力。GraphReader的核心思想是将长文本分解成关键元素和原子事实，构建成一个图，然后让智能体在这个图中探索和推理。这种方法不仅能有效处理超长文本，还在多跳问答等复杂任务上取得了优异表现。
LLM-RAG是什么
07-02
LLM-RAG是“Large Language Model with Retrieval Augmentation”（大型语言模型与检索增强）的缩写。这是一种结合了大型预训练语言模型（如通义千问）和基于检索的方法的技术。在传统的语言模型中，模型完全依赖于其自身的知识库来生成响应。而LLM-RAG则增强了这种能力，它会在生成文本之前从外部知识源（比如文本数据库或网络上的信息）检索相关信息，然后结合模型自身的理解进行生成，从而提供更准确、丰富的答案。 这种方法利用了外部信息的丰富性和模型生成的灵活性，使得AI系统能够处理更复杂的查询，并在需要时提供详细的支持。然而，由于涉及外部数据的检索，隐私和版权问题是需要注意的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值