NVIDIA NVLink已成为高性能计算(HPC)和人工智能领域的关键技术。本文深入探讨了NVLink的复杂性,并介绍NVSwitch芯片、NVLink服务器和NVLink交换机,以揭示其在不断演进的先进计算领域中的重要性。
1、什么是NVIDIA NVLink
NVLink是一种解决服务器内GPU之间通信限制的协议。与传统的PCIe交换机不同,NVLink带宽有限,可以在服务器内的GPU之间实现高速直接互连。第四代NVLink提供更高的带宽,每条通道达到112Gbps,比PCIe Gen5通道速率快三倍。
NVLink旨在为GPU直接互连提供简化、高速、点对点的网络,相比传统网络减少了开销。通过在不同层次提供CUDA加速,NVLink减少了与通信相关的网络开销。NVLink随着GPU架构的演进不断发展,从P100的NVLink1到H100的NVLink4,如图所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之间的关键区别在于连接方式、带宽和性能。