多卡GPU互联通信、服务器互联通信怎么进行？

GPU卡间互联→PCIe/NVlink，服务器互联→IB/以太

1、数据互联的要求：随着模型复杂程度增加，单张GPU无法完成训练任务，需要联合多张GPU，乃至多台服务器搭建集群协同工作，并需要GPU之间以及服务器之间进行数据传输交互。由于大模型数据量极大，在机器学习训练过程中，数据传输速度成为制约训练速度提升的瓶颈。在传统的方案中，GPU互联通常采用PCIe，服务器之间互联采用以太网Ethernet。

什么是 PCIe 4.0？

​

2、英伟达的技术：为了实现极限的超高计算密度，英伟达推出NVLink技术代替传统的PCIe技术，可提供能够实现出色深度学习所需的通信性能。相较采用PCIe，NVLink技术带宽增加5倍。除能够实现GPU间高速内部通信的NVLink技术外，还可以用InfiniBand代替Ethernet，为系统和系统间通信提供更大带宽，减少数据传输延迟造成的瓶颈。

NVLINK 和 NVSwitch 都是 NVIDIA 推出的高速互连技术，用于连接多个 GPU，以实现更高的带宽、更低的延迟和更好的可扩展性。它们的区别和联系如下：

区别：

NVLINK 是一种点对点的高速互连技术，可以将多个 GPU 直接连接起来，形成一个高性能计算集群或深度学习系统。NVLINK 技术采用了 PCIe Gen4 的高速互连方式，可以提供高达 300 GB/s 的带宽和 1.5 微秒的延迟。

NVSwitch 是一种高速交换机技术，可以将多个 GPU 和 CPU 直接连接起来，形成一个高性能计算系统。NVSwitch 技术采用了基于 PCIe Gen4 的高速互连方式，支持多达 16 个 GPU 或 CPU 的连接，可以实现大规模的并行计算和深度学习训练。

InfiniBand通过交换机在节点之间直接创建一个专用的受保护通道，并通过InfiniBand适配器管理和执行的远程直接内存访问（RDMA）和发送/接收卸载，方便了数据和消息的移动。适配器一端通过PCI Express（PCIe）接口连接到CPU，另一端通过InfiniBand网络端口连接到InfiniBand子网。与其他网络通信协议相比，这提供了明显的优势，包括更高的带宽、更低的延迟和增强的可扩展性。

​

2、）联系：

NVLINK 和 NVSwitch 都是 NVIDIA 推出的高速互连技术，用于连接多个 GPU，以实现更高的带宽、更低的延迟和更好的可扩展性。它们都采用了 PCIe Gen4 的高速互连方式，可以提供更高的带宽和更低的延迟。同时，NVLINK 和 NVSwitch 都需要专门的硬件支持，例如 NVIDIA 的 Tesla V100 和 A100 GPU 等。

需要注意的是，NVLINK 和 NVSwitch 的应用场景和适用范围不完全相同。NVLINK 主要用于连接多个 GPU，以加速高性能计算和深度学习等应用，而 NVSwitch 则可以连接多个 GPU 和 CPU，形成一个高性能计算系统，适用于更加复杂和大规模的应用场景。在选择使用 NVLINK 还是 NVSwitch 时，需要根据具体的应用需求和系统配置来决定。

​

​

​

A100 80G PCIE，GPU互联是通过PCIe通道完成的，借助PCIe switch，系统可以实现CPU-GPU，GPU-GPU的连接，但是PCIE仅仅64GB/S，依然使得系统存在性能瓶颈。尤其是PCIe对4个以上的GPU互联的支持较为欠缺，使得系统性能难以继续提升。

A100 80G NVLINK,在每个GPU之间通过NVLINK来进行连接，频宽大小高达每秒600GB，比PCIE来说高于十倍的数率，而且在每GPU连接数量上限也高达18张。使得GPU发挥更加强大性能。

A100 80G NVlink可以说是PCIE升级版本，AI 和高性能计算 (HPC) 的计算需求不断增长，因此越来越需要支持在 GPU 之间提供更大的互联带宽，以便它们可以作为一个巨大的加速器相互协作。虽然 PCIe 非常标准，但带宽有限，因此通常会产生瓶颈。为构建功能强大的端到端计算平台，我们需要速度更快、扩展性更强的互联，能更快让GPU与GPU、CPU与GPU之间速率有质的提升。 3、传统方式的加油 服务器互联——千兆以太网卡芯片（NIC），该芯片可通过PCIE接口与电脑交互数据流，调整为适配数据包后，通过以太网物理层接口发送或接收来自其他服务器的数据。

GPU互联——PCIe Retimer芯片，采用先进信号调理技术来补偿信道损耗并消除各种抖动源影响，从而提升信号完整性，增加高速信号的有效传输距离，为服务器、存储设备及硬件加速器等应用场景提供可扩展的高性能PCIe互连解决方案。