本文是LLM系列文章,针对《Giraffe: Adventures in Expanding Context Lengths in LLMs》的翻译。
Giraffe:LLM中扩展上下文长度的冒险
摘要
依赖于注意力机制的现代大型语言模型(LLM)通常使用固定的上下文长度进行训练,这对它们在评估时可以处理的输入序列的长度施加了上限。要在长于训练时间上下文长度的序列上使用这些模型,可以使用不断增长的上下文长度外推方法家族中的技术,其中大多数方法侧重于修改注意力机制中使用的位置编码系统,以指示标记或激活在输入序列中的位置。我们对基于LLaMA或LLaMA2模型的现有上下文长度外推方法进行了广泛的调查,并介绍了我们自己的一些设计——特别是一种用于修改位置编码基础的新截断策略。
我们使用三个新的评估任务(FreeFormQA、AlteredNumericQA和LongChat Lines)以及困惑来测试这些方法,我们发现作为LLM的长上下文性能的衡量标准,困惑的细粒度较低。我们在HuggingFace上将这三项任务作为数据集公开发布。我们发现线性缩放是扩展上下文长度的最佳方法,并表明在评估时使用更长的缩放可以获得进一步的增益。我们还在截断基中发现了有前景的外推能力。为了支持这一领域的进一步研究,我们发布了三个新的13B参数长上下文模型,我们称之为长颈鹿:从LLaMA-13B基础训练的4k和16k上下文模型,以及从LLaMA2-13B基础训练的32k上下文模型。我们还发布了代码