HoRain云--RDMA 高性能通信技术原理-CSDN博客

零拷贝（Zero-Copy）
- 传统网络通信（如TCP/IP）需要多次数据拷贝（应用层缓冲区 → 内核缓冲区 → 网卡缓冲区），而RDMA直接将数据从发送端内存 直接写入接收端内存，无需中间拷贝。
- CPU不参与数据传输，仅负责发起和结束传输的指令。
内核旁路（Kernel Bypass）
- 传统通信依赖操作系统内核协议栈（如TCP/IP协议处理），而RDMA通过 用户态驱动（User Space Driver） 直接操作网卡硬件，避免内核上下文切换的开销。
硬件卸载（Hardware Offload）
- 网卡（NIC）具备 专用硬件引擎，直接处理数据传输协议（如数据分段、校验和计算等），进一步释放CPU资源。
低延迟与高吞吐量
- 通过上述机制，RDMA可实现 微秒级延迟 和 数百Gbps带宽，适用于高性能计算（HPC）、分布式存储等场景。

RDMA的实现依赖以下关键组件：

队列对（Queue Pair, QP）
- 发送队列（Send Queue, SQ）：应用提交发送请求。
- 接收队列（Receive Queue, RQ）：应用提交接收请求。
- 完成队列（Completion Queue, CQ）：通知应用请求已完成。
内存注册（Memory Registration）
- 应用需预先将内存区域注册为RDMA可访问，并生成 内存键（Memory Key），供远程节点安全访问。
传输语义（Transport Services）
- 可靠连接（RC）：保证数据按序到达，类似TCP。
- 不可靠数据报（UD）：类似UDP，无重传保证。
- 可靠数据报（RD）：在不可靠网络上提供可靠传输。

以下是一个典型的RDMA数据传输流程：

发送数据

发送端：
1. 应用将数据写入本地内存。
2. 提交发送请求到SQ（指定目标内存地址和内存键）。
3. 网卡硬件直接从内存读取数据并发送。

接收数据

接收端：
1. 应用预先在RQ中注册接收缓冲区。
2. 网卡硬件直接将数据写入接收端内存。
3. 完成事件写入CQ，通知应用数据已到达。

RDMA可通过不同协议实现，适应不同网络环境：

协议	特点	适用场景
InfiniBand	原生RDMA协议，需专用硬件（网卡、交换机）	高性能计算集群、超算中心
RoCE	RDMA over Converged Ethernet，基于以太网实现RDMA	企业数据中心（需支持RoCE的网卡和交换机）
iWARP	RDMA over TCP/IP，通过TCP/IP协议栈实现，兼容性更好	广域网（WAN）环境