MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length

本文是LLM系列文章，针对《MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length》的翻译。

摘要

Transformers的二次复杂性和弱长度外推限制了它们扩展到长序列的能力，尽管存在线性注意力和状态空间模型等次二次解，但它们在预训练效率和下游任务准确性方面的经验表现不如Transformers。我们介绍了MEGALODON，一种用于无限上下文长度的高效序列建模的神经架构。MEGALODON继承了MEGA（带门控注意力的指数移动平均）的架构，并进一步引入了多个技术组件来提高其性能和稳定性，包括复指数移动平均（CEMA）、时步归一化层、归一化注意力机制和带两跳残差配置的预范数。在与LLAMA2的受控头对头比较中，MEGALODON在70亿个参数和2万亿个训练token的规模上实现了比Transformer更好的效率。MEGALODON的训练损失为1.70，中途降落在LLAMA2-7B（1.75）和13B（1.67）之间。MEGALODON相对于Transformers的改进在不同任务和模式的一系列基准测试中都是稳健的。代码：https://github.com/XuezheMax/megalodon

1 引言

2 背景：移动平均配备门控注意力（MEGA）

3 MEGALODON

4 实验