NVIDIA Tensor Core

为生成式 AI 实现大规模加速

---

前言

Tensor Core 可实现混合精度计算，动态调整算力，从而在保持准确性和提供更强安全性的同时提高吞吐量。在应对广泛的 AI 和高性能计算 (HPC) 任务时，新一代 Tensor Core 的速度更胜以往。NVIDIA Tensor Core 可将万亿级参数生成式 AI 模型的训练速度提高 4 倍，将推理性能提升 30 倍，并加速现代 AI 工厂的所有工作负载。

---

一、简介

1. 革命性 AI 训练

以 FP16 精度训练数万亿级参数生成式 AI 模型需要耗费数月时间。NVIDIA Tensor Core 提供了一个数量级的更高性能，同时降低了精度，例如 Transformer 引擎中的 FP8、Tensor Float 32 (TF32) 和 FP16。通过 CUDA-X™ 库直接支持原生框架，实施可自动完成，从而在保持准确性的同时，大幅缩短从训练到收敛的时间。