RoCE网络架构在高性能计算的应用

浅析RoCE在高性能计算的应用

   

在高性能计算（HPC）系统的发展初期，通常选择专业网络解决方案，如Myrinet、Quadrics和InfiniBand，而不是以太网解决方案。通过定制网络方案可以有效解决以太网解决方案的限制，增强带宽、降低延迟、改善拥塞控制。

2010年，IBTA推出了RoCE协议技术标准，随后于2014年发布了RoCEv2协议技术标准，大幅提升网络带宽。以太网性能的显著提升引起行业对与传统以太网兼容的高性能网络解决方案的日益关注。这种转变打破了以太网在排名前500的HPC集群中使用率下降的趋势，使以太网在排名中保持了重要地位。

InfiniBand在高性能网络领域仍居核心地位，尽管Myrinet和Quadrics已退出主流选择。同时，Cray、天河和Tofulseries等专用网络系列也以其卓越性能在市场中占据重要地位。

RoCE协议简介

RoCE协议是一种集群网络通信协议，它实现在以太网上进行远程直接内存访问（RDMA）。作为TCP/IP协议的特色功能，该协议将数据包的发射/接收任务转移到网络适配器上，改变了系统进入内核模式的需求。

因此它减少与复制、封装和解封装相关的开销，很大程度上降低了以太网通信的延迟。此外它在通信过程中充分利用CPU资源，减轻了网络拥塞，并提高了带宽的有效利用率。RoCE协议包括两个版本：