英伟达张玮东：NVIDIA核心GPU技术与软件生态助力大模型开发和部署

作为全球领先的 GPU 技术提供商，NVIDIA 的核心 GPU 技术和软件生态为大模型的开发和部署提供了强大助力。在 2023 外滩大会「云端 AI」分论坛上，来自 NVIDIA 英伟达资深解决方案架构师 张玮东 聚焦《NVIDIA核心GPU技术与软件生态助力大模型开发和部署》主题，为我们重点介绍如何利用 NVIDIA 的软件生态来提高大模型的性能和效率。

以下是演讲全文。

---

大家好，我是来自 NVIDIA 英伟达的资深解决方案架构师，接下来我给大家介绍一下英伟达GPU核心技术与软件生态助力大模型的开发和部署。

对于大模型的开发会涉及到很多技术层面。比如说，从最基础的硬件基础设施，然后到软件层面的基础加速库，再到训练推理和部署的框架，再到最终应用的时候可能还会涉及到一些跟向量数据库机密计算相关的一些内容。

我今天的内容就从这四个方面开始展开。首先，会介绍 NVIDIA 加速基础设施，包括 GPU 服务器；第二，介绍一下在大语言模型 GPU 加速的解决方案；第三，介绍一下在推理和部署方面的解决方案；最后会介绍一些跟大语言模型相关的比如说向量数据库或者是数据监控的工具。

01：NVIDIA 加速基础设施

首先看一下 NVIDIA 加速基础设施。这是一张 NVIDIA 数据中心平台解决方案的全栈概览图。包括最底层的硬件，到中间的软件层面，以及最上层的应用。最底层的硬件，我们最核心的其实就是各种型号的 GPU 产品以及用于 GPU 与 GPU 之间高速连接的 nvLink、nvSwitch 以及节点与节点之间高速连接的各种高速网卡、交换机等。

之上就是由 GPU 所构建的各种服务器，包括了 DGX、HGX 和各种云实例，再之上就是我们软件层面的一些建设。首先最核心的就是我们的加速库。比如说大家可能比较熟悉的计算相关的 CUDA-X 系列的加速库，比如网络存储安全相关的 DOCA 和 MAGNUM IO。

再之上就是开发者的工具包和基于各种行业，我们所开发出来的框架。比如说我们接下来要介绍的大语言模型方向的框架 NeMo Framework 就位于这一层面，最上层实际上就是开发者基于我们所提供的硬件和软件的能力，所构建的行业应用。

这张图简单的列举了一些 NVIDIA 数据中心的 GPU。

大家可以看到这里面有 H100、A100，那 H 和 A 代表的就是 GPU 的架构。我们的 GPU 架构都是以科学家的名字来进行命名的。比如说 H 就是 Hopper，A 就是 Ampere，比如 L，就是 Ada Lovelace 等等。

比如说第一行我们看到的这些 GPU，H100，这些 GPU 它的算力非常强，所以我们经常会用这些 GPU 来做训练，推理当然也可以去用；第二行这些 GPU，比如说 L40、A40 这些 GPU 它其实是兼具了计算和图形的能力，但是它的计算能力可能没那么强，这类 GPU 我们一般就把它用在推理的场景，或者是一些图形相关的场景。比如说工作站、虚拟桌面等等；最后这一行 GPU，比如说 L4、A2、T4 这些 GPU 它的计算和图形能力，相对来说它功率比较小。一般来说，我们也是把它用在推理和一些简单图形场景。

对于大模型的训练来说，单块 GPU 是很难支撑整个任务的。所以我们需要 GPU 所构建的服务器，比如说 DGX、HGX。我们以 DGX 服务器为例，它一般是一机八卡的 A100 或者是 H100。多台的 DGX，我们可以扩展成集群，形成这种 DGX 的 POD 或者 DGX 的 SuperPOD。DGX 的 SuperPOD，它不仅仅是一个硬件的集合，它是全栈的数据中心平台，包括了从计算、存储、网络软件以及基础设施管理。这些平台经过优化可以进行大规模的扩展，提供最大化的性能。</