RETRIEVAL MEETS LONG CONTEXT LARGE LANGUAGE MODELS

最新推荐文章于 2024-09-15 17:22:56 发布

UnknownBody

最新推荐文章于 2024-09-15 17:22:56 发布

阅读量142

点赞数

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/134328163

版权

LLM 日更专栏收录该内容

515 篇文章 3 订阅

已下架不支持订阅

本文对比了检索增强与长上下文窗口在大型语言模型（LLM）中的效果，发现检索增强在多种LLM中能显著提升性能，且4K上下文窗口的LLM结合检索增强，性能可媲美16K上下文窗口的微调模型。最佳模型——检索增强的LLaMA2-70B-32k在长上下文任务上超越了GPT-3.5-turbo-16k和Davinci003。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《RETRIEVAL MEETS LONG CONTEXT LARGE LANGUAGE MODELS》的翻译。

摘要

扩展大型语言模型（LLM）的上下文窗口最近越来越流行，而通过检索来增强LLM的解决方案已经存在多年。自然的问题是：i）检索增强与长上下文窗口，哪一个更适合下游任务？ii）能否将这两种方法结合起来，实现两全其美？在这项工作中，我们通过使用两种最先进的预训练LLM研究这两种解决方案来回答这些问题，即专有的43B GPT和LLaMA2-70B。也许令人惊讶的是，我们发现具有4K上下文窗口的LLM在生成时使用简单的检索增强，可以在长上下文任务上通过位置插值实现与具有16K上下文窗口的微调LLM相当的性能，同时需要更少的计算。更重要的是，我们证明了无论LLM的扩展上下文窗口大小如何，检索都可以显著提高LLM的性能。我们的最佳模型，具有32K上下文窗口的检索增强LLaMA2-70B，在七项长上下文任务（包括问答和基于查询的摘要）的平均得分方面优于GPT-3.5-turbo-16k和Davinci003。它也在一定程度上优于其非检索LLaMA2-70B-32k基线，同时在生成方面要快得多。我们的研究为从业者提供了关于LLM的检索增强与长上下文扩展的选择的一般见解。