RDMA应用场景及效果

• GPU Direct  参考：网络架构如何支持超万卡的大规模 AI 训练？| AICon_芯片与网络_InfoQ精选文章

GPU 网络的情况已经发生了很大变化。每个 GPU 都有自己的内部互联，例如 NVIDIA 的 A100 或 H800，它们内部的 NVLink 互联可以达到 600GB 甚至 900GB。这种内部互联与外部以太网网络集群设计之间存在耦合关系。GPU 是单机多网卡的，单机内的多张网卡之间有高速互联，单个服务器的带宽可以达到 3.2T，与通用 CPU 计算带宽相比至少有 6 到 8 倍的关系。GPU 需要使用 GPU Direct RDMA 来实现显存之间的数据迁移，并且需要超短的 RTT（往返时延）。

• redis实践  参考：SMC-R 透明加速 TCP 技术，在 Redis 场景下的应用实践 | 干货推荐_操作系统_OpenAnolis小助手_InfoQ写作社区

redis-banchmarh 测试中，SET 方法在使用 TCP 协议下，无论线程数或数据包大小场景下均比较稳定，在使用 SMC 协议下，提升幅度较大，达到 40% 以上，在线程数 8、数据包大小 64 情况下提升 60%。GET 方法测试结果与 SET 方法相近，性能提升趋势也基本一致。

 SMC （共享内存通信）和RDMA的关系？ 答：RDMA就是一种远程SMC

• 借助 SMC + ERDMA 可以实现硬件卸载 RDMA 、大规模部署，二者相辅相成。
• 开源：https://gitee.com/anolis/hpn-cloud-kernel 龙蜥社区
• 系列解读 SMC-R (二)：融合 TCP 与 RDMA 的 SMC-R 通信 | 龙蜥技术
• 性能透明提升 50%！SMC + ERDMA 云上超大规模高性能网络协议栈