Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach

于 2024-10-12 10:00:00 发布
阅读量75 收藏
点赞数 4
分类专栏： LLM Daily RAG for LLM 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142859776
版权

本文是LLM系列文章，针对《Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach》的翻译。

检索增强生成还是长上下文LLM？综合研究与混合方法

摘要

检索增强生成（RAG）已成为大型语言模型（LLM）高效处理过长上下文的强大工具。然而，最近的LLM，如Gemini1.5和GPT-4，显示出直接理解长上下文的卓越能力。我们对RAG和长上下文（LC）LLM进行了全面比较，旨在利用两者的优势。我们使用三种最新的LLM在各种公共数据集中对RAG和LC进行基准测试。结果表明，当资源充足时，LC在平均性能方面始终优于RAG。然而，RAG显著降低的成本仍然是一个明显的优势。基于这一观察，我们提出了SELF-ROUTE，这是一种简单而有效的方法，基于模型自反射将查询路由到RAG或LC。SELFROUTE显著降低了计算成本，同时保持了与LC相当的性能。我们的研究结果为使用RAG和LC的LLM的长上下文应用提供了指导。

1 引言

2 相关工作

3 RAG与LC基准比较

4 自路由

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
【论文阅读】Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
qq_41502855的博客
08-03 1015
LC性能更好（LCM能力一直在持续提升），而RAG的优势在于低成本。为了兼顾低成本和性能，论文提出了一个trade-off方案“self-route“，由模型自身决定RAG还是LC。在保持相当于LC的性能前提下，self-route方法降低成本（65% for Gemini-1.5-pro，39% for GPT-4O）
LLMs之RAG/Long-Context：《检索增强生成还是长上下文LLMs？一项综合研究与混合方法Retrieval Augmented Generation or Long-Context LL
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-15 1382
​ LLMs之RAG/Long-Context：《检索增强生成还是长上下文LLMs？一项综合研究与混合方法Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach》翻译与解读 目录 《Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hyb
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.07.20-2024.07.25
小小帅
07-31 605
机器学习加速硬件中引入了 float8 等低精度格式，以提高大型语言模型训练和推理的计算效率。然而，由于匹配更高精度训练精度所需的技术非常复杂，有时甚至非常脆弱，因此延缓了语言学习社区对低精度格式的采用。在这项工作中，我们提出了 Scalify，这是一种用于计算图的端到端规模传播范例，它概括并形式化了现有的张量缩放方法。实验结果表明，Scalify 支持开箱即用的 float8 矩阵乘法和梯度表示，以及 float16 优化器状态存储。
LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
01-08 1294
​ LLMs之RAG：《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 目录 《Retrieval-Augmented Generation for Large Language Models: A Survey大型语言模型的检索增强生成研究综述》翻译与解读 Abstract 1 Introduction引言 2
RAG还是长上下文LLM？一个混合方法
yorkhunter的博客
08-15 1167
24年7月来自谷歌deepmind和密西根大学的论文“Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach”。
RAG与LC：长上下文任务中的表现与优化策略
AI_Conf的博客
07-31 689
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
谷歌：长上下文LLM和RAG相结合
大模型任我行的博客
08-21 284
在长上下文理解任务中，检索增强生成（RAG）和长上下文（LC）大语言模型（LLM）的性能和计算成本如何权衡？论文提出了一种结合RAG和LC的混合方法SELF-ROUTE，显著降低了成本同时保持了与LC相当的性能。
2024 推荐系统论文汇总
卢之
01-08 6891
对2024年的 推荐系统论文进行一波收集，给各位初学者和算法大佬作为灵感来源，后续专栏会继续更新论文解读，根据评论不断补充，欢迎大家三连~
CVPR2024｜AIGC(图像生成，视频生成，3D生成等)相关论文汇总（附论文链接/开源代码/解析）【持续更新】
Kobaayyy的博客
02-28 3706
整理汇总下今年CVPR AIGC相关的论文和代码
LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
c_cpp_csharp的专栏
07-02 122
在传统的RAG框架中，基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下，读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡，我们提出了一个新的框架LongRAG，由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元，比以前长了30倍。通过增加单元大小，我们将总单元从2200万个显著减少到600万个。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
女王の专属领地
01-20 8429
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 阅读笔记
mashutian的博客
05-31 915
于是，为了估计到底得到什么y，对于每个文章z在进行beam search中有些没有出现的y，进行了前向传播以得到概率，然后将该概率带入计算最终的边缘概率里，该操作叫thorough decoding。在训练的时候，作者表明他们并没有给出任何监督的信息，即什么样的文本应该被检索出来。看起来挺复杂，不过大致可以看到query来了以后encoder一下，然后根据maximum inner product search，最大点积向量搜索，找到维基百科中最相关的K个文档，然后送给文本生成器，让其进行文本序列的预测。
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
qq_40212975的博客
10-16 3201
论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks code:https://github.com/huggingface/transformers
In-Context Retrieval-Augmented Language Models
c_cpp_csharp的专栏
08-30 1802
检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机制。现有的RALM方法侧重于修改LM体系结构，以促进外部信息的合并，从而使部署显著复杂化。本文考虑了一个简单的替代方案，我们称之为上下文RALM：保持LM架构不变，并为输入准备基础文档，而不需要对LM进行任何进一步的训练。我们发现，建立在现成的通用检索器上的上下文RALM在模型大小和不同的语料库中提供了惊人的大LM增益。
R2：RNN-心脏病预测
最新发布
u012249506的博客
10-11 447
左图：训练与验证准确率训练集的准确率（蓝色线）：随着训练次数增加，呈现出平稳上升趋势，最终接近0.92左右，说明模型在训练数据上的拟合效果逐渐变好。验证集的准确率（橙色线）：一开始随着训练迭代次数增加，验证准确率也在提升，但在约20次迭代后，准确率趋于平稳，甚至有一些波动，特别在50次之后，表现出明显的下降和上升不稳定现象。右图：训练与验证损失训练集损失（蓝色线）：损失随着迭代次数逐渐下降，这表明模型在训练集上不断优化，误差减少。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1281
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1642
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2296
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
retrieval-augmented generation
12-09
retrieval-augmented generation（RAG）是一种结合信息检索和生成模型的方法，旨在解决生成式模型的信息获取不足和信息检索模型生成能力限制的问题。该方法通过将大规模预训练的检索模型和生成模型相结合，以实现更准确和丰富的文本生成。 在RAG中，检索模型负责从大型语料库中检索相关的文本片段或知识片段，然后将这些片段提供给生成模型作为输入。生成模型则将这些信息片段结合到其生成过程中，以生成更加准确和丰富的文本。通过这种信息检索和生成模型的结合，RAG不仅能够生成更丰富和有信息量的文本，还能够保留原始文本的语义和逻辑一致性。 RAG常被应用在问答系统、对话生成和文档摘要等领域。例如，在问答系统中，RAG可以利用检索模型从大型知识库中检索相关的知识，然后生成与用户问题相关的准确回答。在对话生成中，RAG可以帮助生成更加连贯和丰富的对话内容，从而提升对话质量和流畅度。在文档摘要中，RAG可以将检索到的相关信息片段结合到摘要生成过程中，从而生成更加具有信息量和摘要性的文档摘要。 总的来说，RAG是一种结合信息检索和生成模型的方法，能够在文本生成任务中取得更好的效果，为自然语言处理领域带来了新的发展机遇和挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值