NVIDIA 如何精简和提炼 Llama 3.1 以创建 Minitron 4B 和 8B 新模型采用了最先进的修剪和提炼技术

简介

我们经常被大型语言模型 (LLM) 的进步所震撼，尤其是那些具有大量参数的模型。然而，对于大多数组织来说，执行 70B+ 参数模型以获得推理结果的成本是无法承受的。因此，我们看到小型语言模型 (SLM) 的影响力越来越大，这使得执行推理工作负载更具成本效益。然而，并不总是可以从头开始预训练 SLM，因为在数据收集、预训练管道和许多其他方面存在重大挑战。一种流行的替代方法是从较大的 LLM 开始，然后将它们提炼为较小的模型。修剪和提炼是该领域最流行的两种技术。最近，NVIDIA 发布了两个模型，称为Minitron-8B和Minitron-4B，基于 Llama 3.1-450B 的提炼版本。

Minitron 专注于通过修剪和提炼来减小 AI 模型的大小，使其更高效，同时又不会牺牲太多的准确性。修剪通过切割层（深度修剪）或移除神经元、注意力头或嵌入通道（宽度修剪）来减小模型的大小。为了恢复一些丢失的准确性，修剪后通常需要重新训练。

蒸馏是一种相关技术，其中较小的模型（称为学生）向较大、复杂的模型（称为老师）学习。目标是创建一个更紧凑的模型，该模型保留了较大模型的大部分预测能力，同时速度更快且对资源的要求更低。

推荐文章