3 分钟了解 NVIDIA 新出的 H200

英伟达在 2023 年全球超算大会上发布了备受瞩目的新一代 AI 芯片——H200 Tensor Core GPU。相较于上一代产品 H100，H200 在性能上实现了近一倍的提升，内存容量翻倍，带宽也显著增加。

据英伟达称，H200 被冠以当世之最的芯片的称号。不过，根据发布的信息来看，H200 Tensor Core GPU 并没有让人感到意外。在 2023 年 8 月 30 日，英伟达就发布了搭载 HBM3e 技术的 GH200 Grace Hopper 的消息，而 HBM3e 也是 H200 芯片的升级重点。

HBM3E——H200升级重点

NVIDIA H200 是首款提供 HBM3e 的 GPU，HBM3e 是更快、更大的内存，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。借助 HBM3e，NVIDIA H200 的显存带宽可以达到 4.8TB/秒，并提供 141GB 的内存。相较于 H100，H200 在吞吐量、能效比和内存带宽等方面均有所提升。

HBM3E 到底是什么技术，让 H200 有了如此大的提升？接下来我们就来详细了解下 HBM3E。

HBM3E（High Bandwidth Memory 3E）是最新一代的高带宽内存技术，它是 HBM（High Bandwidth Memoryÿ