大语言模型多token预测技术

近年来，大语言模型（LLM）在自然语言处理领域取得了突破性进展，凭借其强大的语言理解和生成能力，在各种NLP任务中展现出惊人的性能。
传统的基于下一个token预测的训练方法虽简单有效，但在获取语言、世界知识和推理能力方面效率不高。且这种方法使模型过于关注局部模式，忽视了“困难”的决策，导致当前先进的下一个token预测器需要比人类儿童多几个数量级的数据才能达到相同的语言水平。
人类儿童在学习语言时使用的训练数据远少于大型语言模型，但其学习效率和语言理解能力却非常高。人类在理解语言时，通常会考虑多个词之间的关系，而不是只关注单个词。这促使研究者思考是否可以通过改进训练方式，让大语言模型一次性预测多个token，来提高模型的学习效率。
多token预测技术结合了多token预测技术，使模型在训练时能同时预测更远位置的token，增强了对未来的感知能力，有助于生成更加连贯和合理的文本。
传统的大型语言模型常采用“下一个token预测”作为训练目标，存在训练效率低、易捕捉局部模式、推理速度慢等问题。而人类儿童学习语言时的高效性促使研究者思考改进训练方式，多token预测技术应运而生，旨在提高模型的样本效率和整体性能。
让模型在训练时一次性预测多个未来token，而不是仅仅预测下一个token。其灵感来源于人类理解语言时会考虑多个词之间的关系，且多个token的预测可以并行进行，有助于提高训练效率。多token预测可以迫使模型学习token之间的依赖关系，更好地理解上下文信息，促使模型关注更重要的“决策点”，更快地学习到语言的全局