RMDA通信1：通信过程和优势，以太网socket为何用户空间拷贝到内核空间

视频分享：

1.1 RDMA基本原理和优势，以太网socket通信为什么要用户空间拷贝到内核空间_哔哩哔哩_bilibili

一、以太网socket通信

1.1 以太网socket通信过程

1、发送端发起一次通信操作，数据由用户空间拷贝到内核空间。拷贝由CPU完成，并且在内核空间总由CPU完成数据封装，添加报头和校验信息。

2、发送端网卡通过DMA由主机内存内核空间复制数据到发送端网卡的内部缓存。

3、发送端网卡通过物理链路发送数据给接收端网卡。

4、接收端网卡，通过DMA将接收端网卡缓存空间的数据拷贝到主机内存的内核空间。

5、CPU对数据进行解析和校验，并将数据由内核空间复制到用户空间。

1.2 以太网socket通信的缺点

1、send/recv等系统调用，导致系统在用户态和内核态间切换，耗时，增加传输延时。

2、发送时数据需要从用户空间拷贝到内核空间(接收时反向拷贝)，增加传输延时。

3、CPU全程参与数据包的封装和解析，对CPU造成负担。

1.3 为啥要从用户空间拷贝到内核空间

1、由于用户空间的物理地址空间不连续。

2、网卡无法支持不连续物理地址用户空间访问。

因此需要将数据由物理地址不联系的用户空间，拷贝到物理地址连续的内核空间，让网卡访问连续地址空间的主机内存空间。

二、RDMA(Remote Direct Memory Access)

RDMA(远程直接内存访问)将控制通路和数据通路分开。

发送端和接收端都需要利用控制通路，进入内核状态，创建通信所需的各种资源，为正式的数据通信做好准备。

 

1.1 RDMA数据传输过程

1、发送端网卡，通过DMA，将用户空间的数据拷贝到网卡缓存，对数据进行协议封装，添加各层协议报头和校验信息。

2、发送端网卡通过网线/光纤将封装好的数据发送给接收端网卡。

3、接收端网卡对数据进行解析后，通过DMA将数据拷贝到用户空间。

1.2 RDMA的优点

1、数据传输时没有系统调用，不需要用户态内核态切换，降低通信延迟。

2、省去数据在户空间拷贝到内核空间之间的拷贝，降低通信延迟。（零拷贝）

3、数据包的封装和解析，由网卡完成，降低CPU负载。

1.3 RDMA对硬件的新要求

1、网卡能够访问物理地址不连续的用户空间。

2、网卡需要负责数据的封装和解析。

参考资料：

Linux高性能网络详解，从DPDP、RDMA到XDP