使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程
NVIDIA TAO 工具套件提供了一个低代码 AI 框架,让无论是新手还是数据科学专家都可以使用这个平台加速视觉 AI 模型开发。通过 NVIDIA TAO 工具套件,开发人员可以进行迁移学习,通过适应和优化,在短时间内达到最先进的精度和生产级吞吐量。
在 NVIDIA GTC23 上,NVIDIA 发布了 NVIDIA TAO 套件 5.0 ,带来了 AI 模型开发方面的突破性功能提升。新功能包括开源架构、基于 Transformer 的预训练模型、AI 辅助的数据标注,以及在任何平台上部署模型的能力。
图 1:NVIDIA TAO 工具套件工作流程图
在任何平台、任何位置部署 NVIDIA TAO
NVIDIA TAO 工具套件 5.0 支持 ONNX 模型导出。无论是 GPU 、CPU 、MCU 、DLA 还是 FPGA 的边缘或云上的任何计算平台,都可以部署使用 NVIDIA TAO 工具套件训练的模型。NVIDIA TAO 工具套件简化了模型训练过程,优化了模型的推理吞吐量,为数千亿台设备的 AI 提供了动力。
图 2:NVIDIA TAO 工具套件体系
全球领先的嵌入式微控制器制造商意法半导体,将 TAO 集成到其 STM32Cube AI 开发者工作流程中。借助 TAO,该公司能够在 STM32 微控制器驱动的各种物联网和边缘用例中,根据它们的最大算力和内存运行各种复杂 AI 功能。
现在有了 NVIDIA TAO 工具套件,即使是 AI 新手也可以在微控制器的计算和内存预算内优化和量化 AI 模型,使其在 STM32 MCU 上运行。开发人员还可以导入自己的模型,并使用 TAO 工具套件进行微调。更多关于意法半导体用例信息,请看以下视频。
视频 1: 了解如何在 STM 微控制器上部署使用 TAO 工具套件优化的模型
虽然 TAO 工具套件模型可以在任何平台上运行,但这些模型在使用 TensorRT 进行推理的 NVIDIA GPU 上才能实现最高吞吐量。在 CPU 上,这些模型使用 ONNX-RT 进行推理。一旦软件可用,将提供运行的脚本和配方。
表 1:几种 NVIDIA TAO 工具套件