谷歌：长上下文LLM和RAG相结合

📖标题：Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
🌐来源：arXiv, 2407.16833

🛎️文章简介

🔸研究问题：在长上下文理解任务中，检索增强生成（RAG）和长上下文（LC）大语言模型（LLM）的性能和计算成本如何权衡。
🔸主要贡献：论文提出了一种结合RAG和LC的混合方法SELF-ROUTE，显著降低了成本同时保持了与LC相当的性能。

📝重点思路

🔺相关工作

🔸长上下文LLM：虽然最近的LLM实现了更大的上下文窗口大小，但长上下文提示的计算成本仍然很昂贵。
🔸RAG：从各种来源检索的相关信息来增强LLM，在各种任务上取得了良好的性能，并且计算成本显着降低。
🔸长上下文评估：由于收集和分析长文本很困难，评估长上下文模型具有挑战性，基准包括LongBench等。

🔺论文方案

🔸选择Gemini1.5-Pro、GPT-4O和GPT-3.5-Turbo，系统地比较RAG和LC在LongBench等公共数据集上的性能和成本。
🔸尽管RAG的表现不如LC，但查询结果具有一致性，表明可以在大多数查询中利用RAG，为一小部分查询保留使用成本更高的LC。
🔸提出了一种新的混合方法SELF-ROUTE，利用LLM自身的反思能力做路由，决定是使用RAG还是LC来处理查询。
🔸通过实验评估不同LLM模型，在SELF-ROUTE方法下的表现。

🔎分析总结

🔸SELF-ROUTE方法在所有三个模型上均显著优于RAG，且在大多数情况下与LC性能相当。
🔸在某些特定情况下，如输入文本远超模型上下文窗口大小时，RAG表现优于LC。
🔸SELF-ROUTE方法在检索的文本块较少时，成本更低且性能更优。

💡个人观点

论文提出了一种基于模型自我反思的路由方法，有效结合了RAG和LC的优势，实现了性能与成本的平衡。

附录