Nemotron-4 15B Technical Report

#Nemotron-4 15B #Large Language Model #Multilingual #Transformer #Machine Learning

摘要： Nemotron-4 15B 是一个训练在8万亿文本标记上的150亿参数的大型多语言语言模型。在英语、多语言和编码任务上表现出色，超越了所有类似规模的开放模型，并在剩余领域与领先开放模型具有竞争力。特别是，Nemotron-4 15B 在多语言能力上表现最佳，甚至超过了规模大四倍以上的模型和专门针对多语言任务的模型。

主要方法/架构： Nemotron-4 使用标准的仅解码器Transformer架构，具有因果注意力掩码。关键的超参数如表1所示。模型使用了Rotary Position Embeddings (RoPE)、SentencePiece分词器、MLP层中的平方ReLU激活函数、无偏项、0的dropout，以及未绑定的输入输出嵌入。为了更快的推理和更低的内存占用，使用了Grouped Query Attention (GQA)。

数据： Nemotron-4 15B 在一个包含8万亿标记的预训练数据集上训练。数据集分为三类：英语自然语言数据（70%）、多语言自然语言数据（15%）和源代码数据（15%）。在构建预训练语料库时，通过文档级别的精确和近重复去重，并应用了一系列启发式过滤器。

预训练： 使用384个DGX H100节点进行训练，每个节点包含8个基于NVIDIA Hopper架构的H100 80GB SXM5 GPU。训练使用了8路张量并行和数据并行，并在数据并行副本上分片优化器状态。训练大约在13天内完成。

继续训练： 在模型训练结束时，通过改变数据分布和学习率衰减计划来提高模型质量。在继续训练阶段，使用了两种不同的数据分布。

实验对比数据结果： 以下是Nemotron-4 15B在不同评估领域的对比结果，使用Markdown表格格式展示：

任务类别	模型	SIQA	ARC-c	ARC-e	PIQA	Winogrande	Hellaswag	AVG
常识推理	LLaMA-2 13B	50.3	49.4	77.3	79.8	72.8	80.7	68.4
	QWEN 14B	77.9	84.4	90.3	79.9	80.2	-	-
	Mistral 7B	47.0*	55.5	80.0	83.0	75.3	81.3	70.4
	Gemma 7B	51.8	53.2	81.5	81.2	72.3	81.2	70.2
	Nemotron-4 15B	60.9	55.5	80.9	82.4	78.0	82.4	73.4

*注：带有星号的值是从Gemma Team (2024)的报告中读取的。

结论： Nemotron-4 15B展示了在多语言能力上的卓越表现，即使在多语言任务上也超越了专门为此目的训练的模型。这表明大型语言模型可以在比以前估计的更多的标记上进行预训练，并取得卓越的结果。