Llama 4B剪枝蒸馏实战

大型语言模型 (LLM) 因其有效性和多功能性，如今已成为自然语言处理和理解领域的主导力量。LLM（例如 Llama 3.1 405B 和 NVIDIA Nemotron-4 340B）在许多具有挑战性的任务中表现出色，包括编码、推理和数学。然而，它们的部署需要大量资源。因此，业界还有另一种趋势，即开发小型语言模型 (SLM)，这种模型在许多语言任务中足够熟练，但部署到大众中却便宜得多。

最近，NVIDIA 研究人员表明，结构化权重修剪（structured weight pruning）与知识提炼（knowledge distillation）相结合形成了一种有效且高效的策略，可以从最初的较大兄弟模型中逐渐获得较小的语言模型。NVIDIA Minitron 8B 和 4B 就是这样的小型模型，它们通过修剪和提炼 NVIDIA Nemotron 系列中较大的 15B 兄弟模型而获得。

修剪和提炼可带来多种好处：

• 与从头开始训练相比，MMLU 分数提高了 16%。
• 每个附加模型所需的训练 token 更少，约 100B 个 token，最多可减少 40 倍。
• 与从头开始训练所有模型相比，训练一系列模型的计算成本最多可节省 1.8 倍。
• 性能可与 Mistral 7B、Gemma 7B 和 Llama-3 8B 相媲美，训练的 token 数量更多，最多可达 15T。

本文还介绍了一套实用有效的 LLM 结构化压缩最佳实践，将深度、宽度、注意力和 MLP 修剪与基于知识蒸馏的再训练相结合。

在这篇文章中，我们首先讨论这些最佳实践，然后展示它们应用于 Llama 3.1 8B 模型以获得 Llama-3.1-Minitron 4B 模型时的有效性。 Llama-3.1-Minitron 4B 的表现优于 Minitron 4B、Phi-2 2.7B、Gemma2 2.6B 和 Qwen2-1.5B 等类似规模的先进开源模型。Llama-3.1-Minitron 4B 即将发布到 NVIDIA HuggingFace 系列，等待批准。

NSDT工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 

1、修剪和提炼

修剪是使模型更小更精简的过程，可以通过删除层（深度修剪）或删除神经元和注意力头并嵌入通道（宽度修剪）来实现。修剪通常伴随着一定程度的再训练以恢复准确性。