📖标题:Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
🌐来源:arXiv, 2407.16833
🛎️文章简介
🔸研究问题:在长上下文理解任务中,检索增强生成(RAG)和长上下文(LC)大语言模型(LLM)的性能和计算成本如何权衡。
🔸主要贡献:论文提出了一种结合RAG和LC的混合方法SELF-ROUTE,显著降低了成本同时保持了与LC相当的性能。
📝重点思路
🔺相关工作
🔸长上下文LLM:虽然最近的LLM实现了更大的上下文窗口大小,但长上下文提示的计算成本仍然很昂贵。
🔸RAG:从各种来源检索的相关信息来增强LLM,在各种任务上取得了良好的性能,并且计算成本显着降低。
🔸长上下文评估:由于收集和分析长文本很困难,评估长上下文模型具有挑战性,基准包括LongBench等。
🔺论文方案
🔸选择Gemini1.5-Pro、GPT-4O和GPT-3.5-Turbo,系统地比较RAG和LC在LongBench等公共数据集上的性能和成本。
🔸尽管RAG的表现不如LC,但查询结果具有一致性,表明可以在大多数查询中利用RAG,为一小部分查询保留使用成本更高的LC。
🔸提出了一种新的混合方法SELF-ROUTE,利用LLM自身的反思能力做路由,决定是使用RAG还是LC来处理查询。
🔸通过实验评估不同LLM模型,在SELF-ROUTE方法下的表现。
🔎分析总结
🔸SELF-ROUTE方法在所有三个模型上均显著优于RAG,且在大多数情况下与LC性能相当。
🔸在某些特定情况下,如输入文本远超模型上下文窗口大小时,RAG表现优于LC。
🔸SELF-ROUTE方法在检索的文本块较少时,成本更低且性能更优。
💡个人观点
论文提出了一种基于模型自我反思的路由方法,有效结合了RAG和LC的优势,实现了性能与成本的平衡。