NVIDIA NeMo 框架 github项目

NVIDIA NeMo 框架

最新消息

大型语言模型和多模式

NVIDIA 发布了 340B 个基础、指导和奖励模型，这些模型已在总共 9T 代币上进行了预训练。 （2024-06-18）
 

NVIDIA 在 MLPerf Training v4.0 中创下新的生成式 AI 性能和规模记录 (2024/06/12)
 

使用 GKE 上的 NVIDIA NeMo 框架加速您的生成式 AI 之旅 (2024/03/16)
 

Bria 利用 NVIDIA NeMo、Picasso 为企业构建负责任的生成式 AI (2024/03/06)
 

NVIDIA NeMo 框架的新功能和 NVIDIA H200 (2023/12/06)

 

 

NVIDIA 现为 Amazon Titan Foundation 模型提供训练支持 (2023/11/28)
 

语音识别

NVIDIA NeMo Canary 模型助力语音识别和翻译新标准 (2024/04/18)
 

利用 NVIDIA NeMo Parakeet ASR 模型突破语音识别的界限 (2024/04/18)
 

使用 NVIDIA NeMo Parakeet-TDT 提高 ASR 准确度和速度 (2024/04/18)
 

介绍

NVIDIA NeMo 框架是一个可扩展的云原生生成式 AI 框架，专为从事大型语言模型 (LLM)、多模态模型 (MM)、自动语音识别 (ASR)、文本转语音 (TTS) 和计算机视觉 (CV) 领域的研究人员和 PyTorch 开发人员构建。它旨在通过利用现有代码和预训练的模型检查点来帮助您高效地创建、自定义和部署新的生成式 AI 模型。

有关技术文档，请参阅NeMo 框架用户指南。

法学硕士 (LLM) 和硕士 (MM) 培训、协调和定制

 

所有 NeMo 模型均使用 Lightning进行训练。训练可自动扩展到数千个 GPU。

在适用的情况下，NeMo 模型会利用尖端的分布式训练技术，并结合并行策略 来高效训练超大型模型。这些技术包括张量并行 (TP)、流水线并行 (PP)、完全分片数据并行 (FSDP)、混合专家 (MoE) 以及使用 BFloat16 和 FP8 的混合精度训练等。

基于 NeMo Transformer 的 LLM 和 MM 利用NVIDIA Transformer Engine在 NVIDIA Hopper GPU 上进行 FP8 训练，同时利用NVIDIA Megatron Core扩展 Transformer 模型训练。

NeMo LLM 可以与 SteerLM、直接偏好优化 (DPO) 和人类反馈强化学习 (RLHF) 等最先进的方法保持一致。有关更多信息，请参阅NVIDIA NeMo Aligner 。

除了监督微调 (SFT) 之外，NeMo 还支持最新的参数高效微调 (PEFT) 技术，例如 LoRA、P-Tuning、Adapters 和 IA3。请参阅