Giraffe: Adventures in Expanding Context Lengths in LLMs

本文是LLM系列文章，针对《Giraffe: Adventures in Expanding Context Lengths in LLMs》的翻译。

摘要

依赖于注意力机制的现代大型语言模型（LLM）通常使用固定的上下文长度进行训练，这对它们在评估时可以处理的输入序列的长度施加了上限。要在长于训练时间上下文长度的序列上使用这些模型，可以使用不断增长的上下文长度外推方法家族中的技术，其中大多数方法侧重于修改注意力机制中使用的位置编码系统，以指示标记或激活在输入序列中的位置。我们对基于LLaMA或LLaMA2模型的现有上下文长度外推方法进行了广泛的调查，并介绍了我们自己的一些设计——特别是一种用于修改位置编码基础的新截断策略。
我们使用三个新的评估任务（FreeFormQA、AlteredNumericQA和LongChat Lines）以及困惑来测试这些方法，我们发现作为LLM的长上下文性能的衡量标准，困惑的细粒度较低。我们在HuggingFace上将这三项任务作为数据集公开发布。我们发现线性缩放是扩展上下文长度的最佳方法，并表明在评估时使用更长的缩放可以获得进一步的增益。我们还在截断基中发现了有前景的外推能力。为了支持这一领域的进一步研究，我们发布了三个新的13B参数长上下文模型，我们称之为长颈鹿：从LLaMA-13B基础训练的4k和16k上下文模型，以及从LLaMA2-13B基础训练的32k上下文模型。我们还发布了代码来复制我们的结果。

1 引言

2 相关工作

3 评估长下文的外推性

4 上下文长度外推技术

5 结果与讨论