Better & Faster Large Language Models via Multi-token Prediction

本文是LLM系列文章，针对《Better & Faster Large Language Models via Multi-token Prediction》的翻译。

摘要

GPT和Llama等大型语言模型是用下一个token预测损失来训练的。在这项工作中，我们建议训练语言模型来同时预测多个未来的token可以提高样本效率。更具体地说，在训练语料库的每个位置，我们要求模型使用n个独立的输出头预测以下n个token，这些输出头在共享模型主干上运行。将多token预测视为一项辅助训练任务，我们测量了代码和自然语言模型在没有训练时间开销的情况下提高的下游能力。该方法对于更大的模型尺寸越来越有用，并且在训练多个生成时仍然具有吸引力。在编码等生成性基准测试中，收益尤其明显，我们的模型始终比强基线高出几个百分点。我们的13B参数模型在HumanEval上解决的问题比同类下一个token模型多12%，在MBPP上多17%。在小型算法任务上的实验表明，多token预测有利于归纳头和算法推理能力的发展。作为一个额外的好处，即使在大批量的情况下，用4token预测训练的模型在推理方面也快了3倍。

1 引言

2 方法

3 真实数据的实验

4 合成数据的消融实验

5 为什么它有效？一些猜测

6 相关工作

7 结论

我们提出了多token预测，作为对生成或推理任务训练语言模型中下一个token预测的改进。我们的实验（多达7B个参数和1T个token）表