【LLM之RAG】Adaptive-RAG论文阅读笔记

最新推荐文章于 2024-09-06 19:46:13 发布
最新推荐文章于 2024-09-06 19:46:13 发布
阅读量1.3k 收藏 9
点赞数 23
分类专栏： LLM 文章标签： 论文阅读 笔记 LLM RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33455447/article/details/139673796
版权

研究背景

文章介绍了大型语言模型（LLMs）在处理各种复杂查询时的挑战，特别是在不同复杂性的查询处理上可能导致不必要的计算开销或处理不足的问题。为了解决这一问题，文章提出了一种自适应的查询处理框架，动态选择最合适的策略，从而提高整体效率和准确性 。

研究目标

目标是开发一种自适应框架，该框架能够根据查询的复杂性动态选择最适合的检索增强语言模型策略，从简单到复杂的策略不等。

相关工作

开放域问答：这类任务通常涉及两个模块：检索器和阅读器。随着具有千亿参数的超强推理能力的LLM的出现，LLM和检索器之间的协同作用已经取得了显著进展。然而，尽管在单跳检索增强LLM方面取得了进展，但某些查询的复杂性需要更复杂的策略。
多跳问答：多跳问答（Multi-hop QA）是常规开放域问答（Open-domain QA）的扩展，需要系统全面收集和将多个文档的信息作为上下文回答更复杂的查询。首先将多跳查询分解为更简单的单跳查询，重复访问LLM和检索器来解决这些子查询，并合并它们的答案以形成完整答案。这种查询的缺点是：每个查询迭代访问LLM和检索器可能效率极低，因为有些查询可能足够简单，可以通过单一检索步骤甚至仅通过LLM本身来回答。
自适应检索：为了处理不同复杂性的查询，自适应检索策略根据每个查询的复杂性动态决定是否检索文档。根据实体的频率来确定查询的复杂性级别，并建议仅当频率低于一定阈值时才使用检索模块。然而，这种方法仅关注于检索与否的二元决策，可能不足以解决需要多个推理步骤的更复杂的查询。

方法论

数据处理

定义复杂性标签：首先，需要定义问题的复杂性等级。在Adaptive-RAG中，通常有三个类别：简单（A）、中等（B）和复杂（C）。简单问题可以直接由LLM回答，中等复杂度问题需要单步检索，而复杂问题则需要多步检索和推理。
自动收集训练数据：由于没有现成的带有复杂性标签的查询数据集，Adaptive-RAG通过两种策略自动构建训练数据集：

  • 从不同Retrieval-Augmented LLM策略的预测结果中标注查询的复杂性。
    如果非检索方法能够正确生成答案，则对应问题的标签为简单（A）；
    如果单步检索方法和多步检索方法都能正确回答，而非检索方法失败，则对应问题的标签为中等（B）；
    如果只有多步检索方法能够正确回答，则对应问题的标签为复杂（C）。
  • 利用基准数据集中的固有偏差来标注未标记的查询。
    例如，如果一个查询在单步数据集中未被标记，则自动分配标签为中等（B）；
    如果在多步数据集中未被标记，则自动分配标签为复杂（C）。

解决方案

Adaptive Retrieval-Augmented Generation (Adaptive-RAG) 是一种新颖的问答框架，它能够根据问题的复杂性动态选择最适合的策略来处理Retrieval-Augmented LLM。这三种策略包括：

  • 非检索方法（No Retrieval）：这是最简单的策略，直接使用LLM本身的知识库来生成答案。这种方法适用于那些模型已经知道答案的简单问题，不需要额外的外部信息。
  • 单步检索方法（Single-step Approach）：当问题需要额外的信息时，这种方法会先从外部知识源检索相关信息，然后将检索到的文档作为上下文信息输入到LLM中，帮助模型生成更准确的答案。这种方法适用于需要一次额外信息检索的中等复杂度问题。
  • 多步检索方法（Multi-step Approach）：对于最复杂的问题，需要从多个文档中综合信息并进行多步推理。这种方法通过迭代地访问检索器和LLM，逐步构建起解决问题所需的信息链。这种方法适用于需要多步逻辑推理的复杂问题。
    Adaptive-RAG的核心在于它能够通过分类器来评估问题的复杂性，然后根据评估结果选择最合适的处理策略。分类器是一个较小的语言模型，它被训练用来预测query的复杂度。通过这种方式，Adaptive-RAG能够灵活地在不同的Retrieval-Augmented LLM策略之间进行切换，从而在处理各种复杂性的问题时，实现更高的效率和准确性。

实验

实验设计

研究中使用的数据集包括单跳和多跳问题，涵盖了从简单到复杂的查询。数据来源于开放域问答数据集，这些数据集经常用于评估问答系统的性能。

  • SQuAD v1.1 (Rajpurkar et al., 2016)：通过阅读文档撰写问题的方式创建。
  • Natural Questions (Kwiatkowski et al., 2019)：基于Google搜索的真实用户查询构建。
  • TriviaQA (Joshi et al., 2017)：由各种小测验网站提供的琐碎问题组成。
  • MuSiQue (Trivedi et al., 2022a)：通过组合多个单跳问题形成涉及2-4个跳转的查询。
  • HotpotQA (Yang et al., 2018)：通过链接多个维基百科文章由注释者创建的问题。
  • 2WikiMultiHopQA (Ho et al., 2020)：源自维基百科及其相关知识图谱路径，需要2跳处理。

评估指标包括有效性和效率两大类：

  • 有效性：使用F1得分、EM（精确匹配）和准确率（Accuracy, Acc）来评估模型预测的答案与真实答案之间的匹配程度。
  • 效率：测量回答每个查询所需的检索和生成步骤数以及与单步策略相比的平均响应时间。

实验结论

实验结果显示，Adaptive-RAG在处理复杂查询时，比传统的检索增强方法更有效，尤其是在资源利用效率上。例如，在使用不同大小模型（如GPT-3.5和FLAN-T5系列）进行测试时，Adaptive-RAG在处理多步查询的场景中，表现出更高的准确率和效率 。
在这里插入图片描述

参考资料

六神就是我
关注
  • 23
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 274
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
c_cpp_csharp的专栏
06-07 202
检索增强大语言模型（LLM）将外部知识库中的非参数知识整合到LLM中，已成为提高多项任务（如问答）响应准确性的一种很有前途的方法。然而，即使有各种方法处理不同复杂性的查询，它们要么处理具有不必要的计算开销的简单查询，要么不能充分处理复杂的多步骤查询；然而，并不是所有的用户请求都只属于简单或复杂类别中的一类。在这项工作中，我们提出了一种新的自适应QA框架，该框架可以根据查询复杂性从最简单到最复杂的LLM动态选择最适合（检索增强）LLM的策略。
【AI开发】CRAG、Self-RAG、Adaptive-RAG
qq_44899247的博客
06-17 1114
先放一张基础RAG的流程图再放一个CRAG和self-RAG的LangChain官方博客。
【RAG 论文】Adaptive-RAG：自适应地根据 query 难度来选择合适的 RAG 模型
VLyb
04-25 1898
Adaptive-RAG：自适应地根据 user query 的难度来选择合适的 RAG 模型来生成回复，从而在开销和准确度之间取得一个平衡
突破传统RAG限制！Adaptive-RAG实现高效复杂查询处理
wwlsm_zql的博客
04-12 998
在人工智能领域，大型语言模型（LLMs）的发展日新月异，它们在多种任务中展现出了卓越的性能。然而，尽管LLMs在处理问题时表现出色，但它们仍然受限于模型内部知识的存储和更新。为了解决这一问题，研究者们提出了检索增强型大型语言模型（Retrieval-Augmented Large Language Models, LLMs），该模型通过结合外部知识库中的非参数知识，有效提升了问题回答的准确性。但是，现有的方法在处理不同复杂度的查询时存在效率和准确性的平衡问题。
RAG未来的出路
周博洋的博客
06-17 1075
一个简单的解决办法是，通过预生成QA对，来搞这个事情，因为问题和答案的相似性，永远不可能比问题和问题的相似性高，因为余弦的作用机制，所以我们把每个chunk，通过prompt engineer让GPT预先生成了一堆针对这个chunk提出的问题，然后做2级查找结构，比如刚才的那个场景，我们在生成QA对的时候，就有可能被GPT的深层推理，推出来其中一个Q是"男职工的陪产假有多少天"，当然我并不否认长上下文对提升理解力的一些帮助，就是没大家想的那么牛B而已（说个数据，达到128K以上的语料数据，不到百分之5。
RAG Paper List - 检索增强生成论文汇总(2)
丨汀、的博客
08-30 76
RAG Paper List - 检索增强生成论文汇总(2)
『大模型笔记』5 种人工智能公司(大模型领域)！
AI新视界
06-20 115
如果你没有时间，如果你想马上停止观看这个视频，那你需要知道的重点部分就是这个：什么是FACES框架？FACES框架实际上是反向开始的。F-A-C-E-S。在底层，我们有基础模型创新者（foundational model innovators）。这些人是构建基础模型的人。然后，我们有自适应微调者（adaptive fine tuners），他们在这些基础模型上进行构建。接着是便捷的API提供者和API包装器（convenient API providers and API wrappers）。
论文阅读笔记《面向集群协同的两点相对定位技术》
MATLAB卡尔曼的博客
09-06 665
无人机精确定位的三个难题：GNSS难以提供稳定准确的位置信息、难以部署辅助锚点、传统的相对定位方法大多存在节点数量限制。本文针对上述问题，提出了一种GNSS 拒止条件下的集群节点相对定位的新方法：搭载IMU和UWB的两个节点，EKF融合IMU和机间的距离信息。仿真：在相距200m的范围内，相对精度达到1.3m，比现有多节点相对定位算法提高了4倍【↓75？
【论文阅读】SwiftTheft: A Time-Efficient Model Extraction Attack Framework（2024）
Glass_Gun的博客
09-03 768
这份文件是一篇关于人工智能安全领域的研究论文，标题为“SwiftTheft: A Time-Efficient Model Extraction Attack Framework Against Cloud-Based Deep Neural Networks”，作者是来自中国武汉大学和浙江大学的研究人员
[论文笔记] LLaVA
心宝的博客
09-02 293
把 Image + Instruction 给到 LLaVA，把 GT 的 Image description 和 Instruction 给到 Text-only 的 GPT-4。如图中所示，对于每张图片都会生成一份多轮对话数据，包含 query 和 answer 部分，整体组织成一个序列 (q1, a1, q2, a2, qT, aT)，所有的 answer 作为模型回答，第一轮指令随机选择 (q1, 图片) 或者 (图片, q1)，后面就直接使用对应轮次 qT 了。Projection：使用。
【论文笔记】Multi-Task Learning as a Bargaining Game
xhyu61的博客
09-02 1269
你这蠢货！！就是亲兄妹才好啊！！——《不时轻声地以俄语遮羞的邻座艾莉同学》周防有希
[论文笔记] LLM大模型剪枝篇——1、调研
心宝的博客
09-02 348
LLaMA2在剪枝时，跳过ffn和跳过full layer的效果差不多。相比跳过ffn/full layer，跳过attention layer的影响会更小。跳过attention layer：7B/13B从100%参数剪枝到66%，平均指标只下降1.7～1.8pp。跳过ffn：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～15.1pp。跳过full later：7B/13B从100%参数剪枝到66%，平均指标下降了12.2～13pp。
论文笔记: 智能电力系统综述
BINGO's BLOG
09-03 726
电力调度是智能电网运行的一大核心问题，其目的是在满足时空变化的电力负荷条件下提供电网的最优运行点。这一功能需要在一天内每隔几分钟运行一次，因此快速、准确的调度决策方法至关重要。但是，由于问题的复杂性，可靠且高效的决策方法仍在不断探索的过程中。随着可再生能源的大规模并网以及灾害性气候的不断恶化，智能电网对调度决策方法提出了更为严苛的要求。近年来，以深度学习为代表的人工智能方法在不少领域取得巨大成功，因此深度学习也被电气工程领域寄予厚望，国内外研究者开始重新思考智能电网的调度决策问题。
【论文阅读】为大规模航空图像应用神经辐射场
WoooChi的博客
08-31 1589
Enabling Neural Radiance Fields (NeRF) for Largescale Aerial Images – A Multi-tiling Approach and the Geometry Assessment of NeRF 部分翻译
COD论文笔记 BiRefNet
985小菜鸡
09-03 781
本质还是一个 U 型编码器解码器结构的分割模型。我可以考虑将©和(d)结合，即对解码器的输入不进行 patchify,同时在各个阶段引入梯度参考信息最近的相关工作，中间监督、额外先验(频率，梯度，边缘等)取得不错效果作者观察到，对原始图像进行导数运算获得梯度特征，可以很好地反映图像对象中的细微和非显著特征。双边参考是在解码器中的两个辅助信息：1.层次化的原始图像块2.梯度监督信息(对于颜色和纹理上与背景高度相似时，梯度信息过于微弱，此时越引入真实GT特征作为侧向监督)
论文阅读 - Coordinated Activity Modulates the Behavior and Emotions ofOrganic Users
最新发布
qq_40671063的博客
09-06 573
社交媒体已成为全球危机期间迅速传播信息的重要渠道。然而，这也为恶意行为者操纵叙事铺平了道路。本研究深入探讨了加沙冲突期间 Twitter 上协调（恶意）实体与有机（普通）用户之间的互动动态。通过分析来自 130 多万用户的约 350 万条推文，我们的研究发现，协同用户对信息格局产生了重大影响，成功地在网络上传播了他们的内容：他们的信息有相当一部分被普通用户采纳和分享。此外，研究还记录了有机用户对协同内容的参与度逐渐增加，与此同时，他们在随后的交流中也明显转向了情感上更加极化的表达方式。
A Tutorial on Near-Field XL-MIMO Communications Towards 6G【论文阅读笔记】
aixdm的博客
09-02 1095
A Tutorial on Near-Field XL-MIMO Communications Towards 6G
LLM-RAG是什么
07-02
LLM-RAG是“Large Language Model with Retrieval Augmentation”（大型语言模型与检索增强）的缩写。这是一种结合了大型预训练语言模型（如通义千问）和基于检索的方法的技术。在传统的语言模型中，模型完全依赖于其自身的知识库来生成响应。而LLM-RAG则增强了这种能力，它会在生成文本之前从外部知识源（比如文本数据库或网络上的信息）检索相关信息，然后结合模型自身的理解进行生成，从而提供更准确、丰富的答案。 这种方法利用了外部信息的丰富性和模型生成的灵活性，使得AI系统能够处理更复杂的查询，并在需要时提供详细的支持。然而，由于涉及外部数据的检索，隐私和版权问题是需要注意的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值