关于RDMA技术原理、三种主流实现技术对比

      摘要: 远程直接内存访问(即Remote Direct Memory Access)是一种直接内存访问技术，它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，本文旨在技术引导，详细内容请通过文末“阅读原文”参阅<RDMA原理分析、对比和技术实现解析>电子书。

      RDMA技术最早出现在Infiniband网络，用于HPC高性能计算集群的互联。传统的基于Socket套接字(TCP/IP协议栈)的网络通信，需要经过操作系统软件协议栈，数据在系统DRAM、处理器Cache和网卡Buffer之间来回拷贝搬移，因此占用了大量的CPU计算资源和内存总线带宽，也加大了网络延时。举例来说，40Gbps的TCP/IP流能耗尽主流服务器的所有CPU资源；RDMA则解决了传统TCP/IP通信的技术痛点。例如，在40Gbps场景下，CPU占用率从100%下降到5%，网络延时从ms级降低到10us以下。

 

      RDMA是一种新的内存访问技术，RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器耗时的处理。RDMA将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响。RDMA技术的原理及其与TCP/IP架构的对比如下图所示。

      因此，RDMA可以简单理解为利用相关的硬件和网络技术，服务器的网卡之间可以直接读内存，最终达到高带宽、低延迟和低资源利用率的效果。应用程序不需要参与数据传输过程，只需要指定内存读写地址，开启传输并等待传输完成即可。

      RDMA最早在Infiniband传输网络上实现，技术先进，但是价格高昂(只有Mellanox和Intel供应商提供全套网络解决方案)，后来业界厂家把RDMA移植到传统Ethernet以太网上，降低了RDMA的使用成本，推动了RDMA技术普及。在Ethernet以太网上，根据协议栈融合度的差异，分为iWARP和RoCE两种技术，而RoCE又包括RoCEv1和RoCEv2两个版本(RoCEv2的最大改进是支持IP路由)，各RDMA网络协议栈的对比如下图所示。

• Infiniband，支持RDMA的新一代网络协议。 由于这是一种新的网络技术，因此需要支持该技术的NIC和交换机。