快3倍！Meta 违背经典模型结构，一次预测多个token，路径可行，大模型大幅提速指日可待！

众所周知，LLMs的工作原理是对下一个token进行预测。

读者朋友们有没有曾这样想过：如果LLM一次预测n个token呢？那是不是就快n倍？Meta也是这样想的！并且付诸实践。

在最近的一项研究中，Meta、以及巴黎高科桥路学院和巴黎-萨克雷大学的研究人员建议，通过让人工智能大型语言模型（LLMs）同时预测多个token，来提高大模型的准确性和速度。

这个大胆的设想，跳出了自回归语言模型的经典结构——一次仅仅预测一个token。

在某些领域，这一方法呈现了显著的优势，速度提高了三倍，生成任务的性能也更好！

虽然多标记预测并不一定成为每种模型和语言任务的通用解决方案，且该方法还存在很大的改进空间。但Meta的研究验证了该思路的可行性，这项技术可能让某些LLM应用大幅进化，例如时下热议的AI编程。         

1.只预测下一个token的局限性

训练LLMs的经典方法是所谓的“下一个token预测”，这是一种自监督学习技术，模型被给予一系列token，并预测下一个。   

然后大模型会将预测的标记添加到输入中，并重复这个过程，一次一个token。通过在大量文本语料库上一遍又一遍地这样做，模型学习到一般模式，使其能够输出连贯的文本段落。

研究人员已经研究并记录了下一个标记预测在