算力机房选择RoCE还是InfiniBand（IB）

前言

        超高带宽、超低延迟、超高可靠，这是大模型训练对于网络的要求。

        多年来，TCP/IP协议一直是互联网通信的支柱，但对于AI网络来说，TCP/IP 在某些方面存在着致命的缺点。TCP/IP协议的时延较高，通常在数十微秒左右，同时还会对CPU造成严重的负载。RDMA能直接通过网络接口访问内存数据，无需操作系统内核的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。

RDMA技术有四种实现：InfiniBand、RoCEv1、RoCEv2和iWARP。其中，RoCEv1已被弃用，iWARP也不太常用。目前业界常用的网络解决方案是InfiniBand和RoCEv2。

•   InfiniBand：设计之初就考虑了 RDMA，重新设计了物理链路层、网络层、传输层，从硬件级别，保证可靠传输，提供更高的带宽和更低的时延。但是成本高，需要支持IB网卡和交换机。
•  iWARP：基于TCP的RDMA网络，利用TCP达到可靠传输。相比RoCE，在大型组网的情况下，iWARP的大量TCP连接会占用大量的内存资源，对系统规格要求更高。可以使用普通的以太网交换机，但是需要支持iWARP的网卡。
• RoCE：RoCE通过以太网实现RDMA功能，可以绕过TCP/IP并使用硬件卸载，从而降低CPU利用率。RoCE有两个主要版本：RoCEv1和RoCEv2。RoCEv1是基于以太网链路层实现的RDMA协议。交换机需要支持PFC等流控技术，以保证物理层的可靠传输。RoCEv2是在以太网TCP/IP协议的UDP层实现的，引入IP协议是为了解决可扩展性问题。

  RoCEv2支持在第三层以太网络上传输RDMA路由。RoCEv2将InfiniBand网络层替换成以太网链路层上的IP和UDP报头，这使得在基于IP的传统路由器之间路由RoCE成为可能。

那么，InfiniBand和RoCE，谁更适合AI数据中心网络?

首先我们先来看下算力中心基本概念以及要求：

并行计算：AI 工作负载是运行相同应用程序/计算任务的多台机器的统一基础设施。

规模：HPC/AI任务的规模可以达到数千个计算引擎(如GPU、CPU、FPGA 等)。

作业类型：不同的任务在大小、运行持续时间、需要考虑的数据集大小和数量、需要生成的答案类型以及用于编码应用程序的不同语言和它运行的硬件类型等方面有所不同，这都会导致为运行HPC/AI工作负载而构建的网络内流量模式不断地变化。

无损：在传统数据中心中，丢失的消息会重传，而在AI 工作负载中，丢失消息意味着整个计算要么错误，要么被卡住。因此，AI 数据中心需要一个无损的网络。

带宽：高带宽流量需要在服务器之间运行，以便应用程序能够获取数据。在现代部署中，AI 或其他高性能计算功能的每个计算引擎的接口速度达到 400Gbps。

这些复杂性都对AI 网络提出了重大挑战，因此AI 数据中心网络需要具有高带宽、低延迟、无抖动、无数据包丢失和长期稳定等特点。

那我们先来两种组网方式的基本定义：

IB组网

IB网络是一种高性能计算网络，基于InfiniBand技术规范设计开发，旨在简化服务器到服务器及其相关外部设备的连接，减少等待时间，并增强互用性。它具有高带宽和低延迟的网络特性，广泛应用于高性能计算(HPC)领域。IB网络通过Partition Key实现网络隔离，不同租户的IB网络可以通过不同的Partition Key来隔离，类似于以太网的VLAN。这种网络隔离机制有助于提高网络的安全性和可管理性。

ROCE组网

RoCE(RDMA over Converged Ethernet)协议是一种能在以太网上进行RDMA（远程内存直接访问）的集群网络通信协议，它大大降低了以太网通信的延迟，提高了带宽的利用率。

RDMA(Remote Direct Memory Access)技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。

IB vs.RoCE

与InfiniBand相比，RoCE具有更大的通用性和相对较低的成本。它不仅可以用于构建高性能RDMA网络，还可以用于传统以太网。然而，在交换机上配置Headroom、PFC(基于优先级的流量控制)和ECN(显式拥塞通知)等参数可能会很复杂。在大规模部署中，RoCE网络的总体吞吐量性能可能略低于InfiniBand网络。

从技术角度来看，InfiniBand采用了多种技术来提高网络转发性能，减少故障恢复时间，提高可扩展性，并降低操作复杂性。

在业务性能方面，与RoCEv2相比，InfiniBand的端到端延迟较低，因此构建在InfiniBand上的网络在应用程序级业务性能方面具有优势。

在带宽和延迟方面，拥塞和路由等因素会影响高性能网络互连。

总的来说，ROCE和IB组网各有优缺点，应根据具体的应用场景和需求进行选择。ROCE组网在成本和可扩展性方面具有一定优势，而IB组网在性能和可靠性方面可能更胜一筹。