Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models

本文是LLM系列文章，针对《Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models》的翻译。

摘要

我们考虑在测试时在线微调语言模型的参数的问题，也称为动态评估。虽然众所周知，这种方法提高了整体预测性能，特别是在考虑训练和评估数据之间的分布变化时，我们在这里强调的观点是，在线适应将参数转化为随时间变化的状态，并提供了一种上下文长度扩展形式，以权重表示记忆，更符合神经科学中记忆的概念。我们特别关注适应的速度（就样本效率而言）、对总体分布漂移的敏感性，以及执行梯度计算和参数更新的计算开销。我们的实证研究提供了在线适应何时特别有趣的见解。我们强调，通过在线自适应，上下文学习和微调之间的概念区别变得模糊：两者都是基于先前观察到的token来调节模型的方法。

1 引言

2 SGD在线适应的方法

3 实验设置

4 结论

在本文中，我们为LLM的在线适应（也称为动态评估）提供了一个新的视角。通过广泛的实验，我们表明，当一个模型面临显著的分布变化时，具有较小上下文窗口