本文探讨了语言模型在多文档问答和键值检索任务中如何利用长上下文，发现模型在处理长输入时性能下降，尤其是在需要从中部获取信息时。研究还提出，更多的上下文并不总是带来更好的性能，并为未来模型的评估提供了新方法。
本文是LLM系列文章，针对《Lost in the Middle: How Language Models Use Long Contexts》的翻译。
迷失在中间：语言模型如何使用长上下文
摘要
虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问答和键值检索。我们发现，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在长上下文的中间访问相关信息时，性能会显著降低。此外，即使对于显式长上下文模型，性能也会随着输入上下文的增长而显著降低。我们的分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。
已下架不支持订阅
105
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
