轻量级冠军：NVIDIA 发布具有领先准确率的小语言模型

生成式 AI 开发者通常需要在模型尺寸和准确性之间做出权衡。然而，NVIDIA 发布的一款新语言模型却做到了二者兼得。这款模型虽然尺寸小，却能够提供领先的准确率。

Mistral-NeMo-Minitron 8B 是 Mistral AI 与 NVIDIA 上个月发布的 Mistral NeMo 12B 开放模型的微型版本，其尺寸小到足以在 NVIDIA RTX 驱动的工作站上运行，但却在针对 AI 驱动的聊天机器人、虚拟助手、内容生成器和教育工具的多项基准测试中取得了出色的成绩。Minitron 模型是由 NVIDIA 使用 NVIDIA NeMo （一个用于开发自定义生成式 AI 的端到端平台）所蒸馏而成。

NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 表示：“我们把两种不同的 AI 优化方法相结合，将 Mistral NeMo 的 120 亿个参数剪枝到 80 亿，并通过蒸馏来提高准确性。这使 Mistral-NeMo-Minitron 8B 可以以更低的计算成本提供与原始模型相当的精度。”

不同于大语言模型，小语言模型可以在工作站和笔记本电脑上实时运行。这使资源有限的企业不仅能够更容易地将生成式 AI 功能部署到其基础设施中，同时还能优化成本、提高运营效率和降低能耗。在边缘设备上本地运行语言模型时，由于数据无需从边缘设备传输到服务器，因此还具有安全优势。

开发者现在可以开始使用 Mistral-NeMo-Minitron 8B，其已被打包为具有标准应用程序编程接口（API）的 NVIDIA NIM 微服务，开发者也可以从Hugging Face 下载此模型。能在几分钟内