本文是LLM系列文章,针对《RHO-1: Not All Tokens Are What You Need》的翻译。
摘要
先前的语言模型预训练方法已经将下一个token预测损失统一地应用于所有训练token。针对这一规范,我们提出“并非语料库中的所有token对语言模型训练都同等重要”。我们的初步分析深入研究了语言模型的token级训练动态,揭示了不同token的不同损失模式。利用这些见解,我们引入了一种称为RHO-1的新语言模型。与传统的LM学习预测语料库中的下一个token不同,RHO-1采用了选择性语言建模(SLM),它选择性地训练与期望分布一致的有用token。这种方法包括使用参考模型对预训练token进行评分,然后训练语言模型,将损失集中在具有较高超额损失的token上。当在15B OpenWebMath语料库上进行持续预训练时,RHO-1在9项数学任务中的小样本准确率绝对提高了30%。经过微调,RHO-1-1B和7B在MATH数据集上分别获得了40.6%和51.8%的最新结果——仅将DeepSeekMath与3%的预训练token相匹配。此外&#x