简单理解RDMA RoCE

对啊RDMA RoCE理解：

就是说RDMA网卡已经把协议栈(UDP/TCP) 这些协议栈全部offload到RDMA网卡的ASIC芯片上来实现了(硬化)。而且在本机上用户buffer到网卡buffer也是直接通过的DMA方式把数据搬到网卡中，然后网卡通过网络协议UDP(RoCE)的方式将数据传送到对端去，对端收到数据后也直接在网卡上把数据接收下来，并且直接DMA到用户的buffer中。这样整个过程都没有CPU和内存拷贝的参与。但是RDMA也存在问题：就是不能大规模使用，以及需要环境很干净，否则就会因为UDP协议本身的不可靠，重传等操作，导致一旦有丢包啥的，就要重传导致整个集群网络复杂化，所以RDMA相对来讲只能在小规模场景下应用。这是存储端集群要想节省CPU和内存拷贝需要考虑的问题，这个是存储集群规模需要考虑的事情。

同样前端计算节点需要和后端集群通信的话，如果存在复杂的网络，那么本身使用RDMA网络不是一个很好的选择，所以此时可能需要考虑前端计算节点直接通过TCP/IP协议和后端集群通信，但是内核自带的TCP/IP协议栈可能内存拷贝严重，且耗CPU并且新能还不高，所以一般会考虑自己在用户态实现一套TCP/IP协议栈。然后在计算端作为client，存储端作为target，直接用户态通信。