RULER: What’s the Real Context Size of Your Long-Context Language Models?

本文是LLM系列文章，针对《RULER: What’s the Real Context Size of Your Long-Context Language Models?》的翻译。

摘要

大海捞针（NIAH）测试考察了从长干扰物文本（“大海捞起”）中检索一条信息（“针”）的能力，已被广泛用于评估长上下文语言模型（LM）。然而，这种简单的基于检索的测试只表明了长期上下文理解的一种肤浅形式。为了对长上下文LMs进行更全面的评估，我们创建了一种新的合成基准RULER，该RULER具有针对定制序列长度和任务复杂性的灵活配置。RULER扩展了朴素NIAH测试，涵盖了不同类型和数量的针头。此外，RULER引入了新的任务类别——多跳跟踪和聚合，以测试上下文搜索之外的行为。我们在RULER中评估了10个长上下文LMs和13个具有代表性的任务。尽管在朴素NIAH测试中实现了近乎完美的准确性，但随着上下文长度的增加，所有模型的性能都会大幅下降。虽然这些模型都声称上下文大小为32K或更大，但只有四个模型（GPT-4、Command-R、Yi-34B和Mixtral）能够在32K的长度下保持令人满意的性能。我们对Yi-34B的分析支持200K的上下文长度，随着输入长度和任务复杂性的增加，显示出很大的改进空间。我们开放源代码RULER以促进对长上下文LMs的全面评估。