他来了他来了，英伟达发布全新Hopper架构GPU“H100”4nm制程800亿晶体管

1616AI开放平台—AI星球原创文章 转载请注明出处

英伟达重磅发布全新Hopper架构

3月22日，在2022 GTC大会上，NVIDIA 重磅推出“核弹级” Hopper 架构的新一代加速计算平台，其将取代两年前推出的 Ampere 架构（NVIDIA 迄今为止最成功的 GPU 架构）。同时，NVIDIA 发布了其首款基于 Hopper 架构的 GPU—NVIDIA H100。

之前业内猜测5nm制程工艺，NVIDIA直接上了台积电4nm工艺。

NVIDIA H100集成了800亿个晶体管，是全球范围内最大的加速器，拥有Transformer引擎和高度可扩展的NVLink互连技术（最多可连接达256个H100 GPU，相较于上一代采用HDR Quantum InfiniBand网络，带宽高出9倍，带宽速度为900GB/s）等功能，可推动庞大的AI语言模型、深度推荐系统、基因组学和复杂数字孪生的发展。

NVIDIA H100具体性能参数有多爆炸？看下与前代A100和V100的对比吧：

FP32计算比上一代快三倍，8位浮点运算快六倍

在模型训练上，H100 GPU在FP16、FP32和FP64计算方面比上一代A100快三倍，在8位浮点数学运算方面快六倍。“对于大型Transformer模型的训练，H100将提供高达9倍的性能，过去需要数周时间才能完成的训练可以减少到几天内，”NVIDIA产品管理高级总监Paresh Kharya在发布会上称。

H100将支持聊天机器人使用功能强大的monolithic Transformer语言模型Megatron 530B，吞吐量比上一代产品高出30倍，同时满足实时对话式AI所需的次秒级延迟。利用H100，研究人员和开发者能够训练庞大的模型，如包含3950亿个参数的混合专家模型，训练速度加速达9倍，将训练时间从几周缩短到几天。

H100可部署于各种数据中心，包括内部私有云、云、混合云和边缘数据中心，产品预计于今年晚些时候全面发售。