最近在做RDMA传输相关的项目,现分析和对比传统TCP/IP通信和RDMA传输在数据交互中的不同之处。
概念解读
传统的TCP/IP通信,发送和接收数据的过程中,都是在源端应用层数据从上向下逐层拷贝封装,目的端从下向上拷贝和解封装,所以比较慢,而且需要CPU参与的次数很多。RDMA通信过程中,发送和接收,读/写操作中,都是RNIC直接和参与数据传输的已经注册过的内存区域直接进行数据传输,速度快,不需要CPU参与,RDMA网卡接替了CPU的工作,节省下来的资源可以进行其它运算和服务。由此可以看出,RDMA可以提供低延迟、高吞吐量、低CPU占用率,适用于高性能计算。
两种通信方式中都有send、write方法,对应的也有receive、read方法。在传统的TCP/IP通信过程中,SEND/RECEIVE和READ/WRITE操作除了参数不同之外,没有本质的区别,都是进行数据的发送和接收,都是双边操作,即C/S都需要参与,这个过程也需要CPU的参与,并且需要内存拷贝,带来很大的网络延迟。但是在RDMA传输过程中,SEND和WRITE是完全不同的概念,同样,RECEIVE和READ也是完全不同的概念。
在RDMA传输中,SEND/RECEIVE是双边操作,即需要通信双方的参与,并且RECEIVE要先于SEND执行,这样对方才能发送数据,当然如果对方不需要发送数据,可以不执行RECEIVE操作,因此该过程和传统通信相似,区别在于RDMA的零拷贝网络技术和内核旁路,延迟低,多用于传输短的控制消息。WRITE/READ是单边操作,顾名思义ÿ