AI 网络，为什么需要RDMA？

在早期RDMA的主要应用领域是高性能计算（HPC）。那时，大部分HPC建设的重点在于超级计算项目，在云计算和企业数据中心的应用并不广泛。然而，情况在2022年末发生了变化，随着AI/ML成为重点投资领域，数据中心的开支迅速向AI/ML倾斜。

这一转变的速度和规模是前所未有的，到了2023年底，RDMA基础网络的部署速度甚至超过了2022年和2021年的总和。这次激增让RDMA技术迅速普及，成为了AI/ML领域扩张的关键支撑。650 Group预计，到 2028 年，RDMA 网络市场规模将超过 220 亿美元。

RDMA/RoCE

RDMA（远程直接内存访问）允许两台服务器直接读写对方的内存，而无需经过任何一台服务器的处理器、缓存或操作系统。通过绕过这些步骤，RDMA可以释放CPU，降低延迟，并提供更快的数据传输。网络、存储和计算应用均受益于此技术。

RDMA在每个服务器的网卡（NIC）中实现。通过绕过操作系统和网络内核，两台服务器之间的网络性能和数据交换会更快。RDMA最初是为用于大规模并行计算的HPC集群而设计的。大规模并行计算是AI/ML的工作方式，而RDMA是这类部署中重要的组成部分。

RoCEv2是基于以太网的RDMA实现，它使用了以太网的网络基础设施来传输RDMA数据。在RoCE的早期版本中，需要融合以太网，但在后来的版本中，RoCE也可以在标准的以太网上运行。在业内，人们正在投入大量精力改进以太网的拥塞控制机制，以减少数据包的丢失。

值得一提的是，数据中心中已安装的以太网交换机端口数量超过了4亿个。鉴于其广泛的存在，以太网将在AI/ML网络中发挥越来越大的作用，未来会有越来越多的RDMA操作通过以太网完成。

服务器市场的变化

随着客户从通用服务器转向专为AI/ML设计的服务器，整个服务器市场的格局正在经历重大变革。预计到2028年，AI/ML服务器的数量将从2023年的100万台激增至600万台以上。

与此同时，AI/ML服务器的市场规模有望接近3000亿美元。数据中心市场从未见证过如此快速的转变，AI/ML的兴起将促使数据中心的总体支出翻一番。预计到2028年，这600万台AI/ML服务器中的绝大多数都将配置后端网络或AI架构，以实现计算节点间的互联。

在服务器市场中，每台服务器所搭载的GPU和AI ASIC的数量将随产品迭代而持续增长。如今，配备8个GPU的服务器最为常见。预计不久后将出现配置16个乃至32个GPU的服务器。

随着训练模型的参数规模从数十亿扩展至数万亿，单个GPU的内存容量亦将持续扩大。面对如此庞大的数据规模，提高服务器间数据传输效率成为了扩展系统能力、达成训练模型远大目标的核心要素。RDMA技术将在这些服务器中发挥关键作用，因为能否有效访问其他服务器的内存和资源，直接影响到系统的可扩展性。

JCT和性能指标

直接访问其他服务器上内存的能力有助于提高AI模型的整体性能。借助RDMA技术，数据能快速送抵GPU，从而有效缩短作业完成时间（Job Completion Time，简称JCT）。

在AI/ML集群的早期阶段，一个主要问题是GPU核心经常处于闲置状态，一旦出现数据包丢失或者数据无法及时送达GPU，整个集群就可能陷入停滞，所有计算资源都处于空闲状态。RDMA技术有效地解决了这一网络瓶颈，最终优化了AI/ML集群的JCT和各项性能指标。虽然以太网和InfiniBand之间可能存在额外的性能差异，但相比传统网络，RDMA无疑是巨大的进步。

NIC市场

所有InfiniBand NIC都支持RDMA，但目前并非所有以太网NIC都能支持RDMA/RoCE。那些希望在AI/ML领域占有一席之地的传统以太网NIC制造商，必须在其产品中加入RoCE功能，以此参与市场竞争。随着NIC速度迈入400Gbps及以上的时代，我们预计多数以太网NIC产品都将具备RoCE支持。功能的增强与端口速率的提升，将推高以太网NIC的平均售价（ASPs）。

各厂商在以太网NIC中集成的RoCE能力将存在差异，这主要取决于所采用的处理器类型、额外的卸载引擎以及研发团队的专业水平，这些因素将导致不同NIC供应商的产品性能形成多个层级。随着新一代产品的不断推出，我们预期各大厂商会对其产品线及RoCE性能指标进行持续优化，逐步缩小彼此间的性能差距。性能指标的一致性增强，将最终促进更好的设备间互操作性，同时也为用户提供更为丰富的选择空间。

AI/ML后端网络

大多数AI/ML服务器使用后端网络。后端网络独立于数据中心的其他网络，既可以选择InfiniBand，也可以选择以太网。后端网络只关注AI/ML集群，负责将集群内的每一台服务器相连。其主要关注点在于实现GPU到GPU，或是GPU到内存的高速连接。后端网络是现有网络架构的有益补充，它不仅增加了每台服务器的端口数量，还大幅提升了网络设备的市场潜力。

AI/ML应用可能涉及多个后端网络，各自针对不同的任务需求。举例来说，虽然RDMA技术既能在以太网，也能在InfiniBand上运行，但除此之外，别的GPU提供商或AI ASIC都可以使用其他网络来创建更高性能的解决方案。

市场规模

2021年之前，RDMA的市场规模每年在4亿至7亿美元之间，主要受HPC应用的驱动。2023年，由于AI/ML部署的激增，市场对RDMA的需求激增至60亿美元以上，预计到2028年这一数字将突破220亿美元。随着运营商加大对AI/ML资本支出（CAPEX）的投入，以及对未来趋势的指引，RDMA相关的项目预算在未来几年内有望进一步上调。

RDMA市场可以细分为两个不同的类别。

首先是技术类别。目前RDMA主要与InfiniBand技术一起部署，但随着时间推移，以太网中将出现更多RDMA网络。其次，从硬件角度看，市场关注点主要落在NIC和交换机上。在InfiniBand领域，NIC和交换机的采购通常是一体化的；而在以太网领域，交换机的采购往往由不同的团队负责，与NIC的购买节奏不同。这种服务器团队与网络团队各自为营的现象在AI/ML领域依然存在，尽管AI/ML本身具有融合性，但企业内部的组织壁垒并未消除。因此，我们预见到每个客户在其AI/ML网络中将形成对NIC和交换机供应商的独特偏好，而且潜在的AI/ML项目可能会选择与客户传统计算部署不同的NIC和交换机供应商。

总结

RDMA和RoCE在AI/ML网络中发挥着关键作用。没有它们，AI/ML的扩展速度将无法满足客户需求的快速增长。随着服务器市场迅速转向AI/ML，逐渐远离传统计算领域，RDMA与RoCE将迎来巨大的市场机遇，预计未来几年内，其市场规模将呈现爆炸性增长。

尽管在技术选择上会存在客户和供应商的偏好差异，但RDMA无疑将得到广泛应用和快速发展。以太网和InfiniBand将并存，市场与客户应避免将其看作二选一的局面。实际上，多数客户将在InfiniBand和以太网网络中同时采用RDMA技术，很少有客户只局限于单一类型的网络或供应商。

AI/ML应用场景广泛，涵盖从基础训练、强化学习到推理等多个领域。确保RDMA跨多种技术平台的兼容性，有助于客户实现业务规模的拓展，让他们能够集中精力于AI/ML工作负载本身，而非底层网络。

原文链接：

https://650group.com/blog/rdma-networks-are-a-key-enabler-to-ai-ml-deployments/