roce和iwarp_InfiniBand, RDMA, iWARP, RoCE

【迁移】InfiniBand, RDMA, iWARP, RoCE

这两天了解了一些 parallel file system 比如 PVFS2/OrangeFS, Lustre，它们都声称支持 InfiniBand 网络连接技术，好奇之下查了下，发现这个技术规范很牛逼，另外也因此知道了 RDMA 技术，指不通过 OS 内核以及 TCP/IP 协议栈在网络上传输数据，因此延迟非常低，CPU 消耗非常少。

两篇讲述 InfiniBand 的趣文：

看起来 InfiniBand, FibreChannel, 10Gbps Ethernet 竞争的硝烟还有一阵日子可看。

RDMA 技术有好几种规范来达到：InfiniBand: 这是正统，InfiniBand 设计之初就考虑了 RDMA，InfiniBand 从硬件级别保证可靠传输;

iWARP: 基于 TCP or SCTP 做 RDMA，利用 TCP or SCTP 达到可靠传输，对网络设备的要求比较少;

RoCE: 基于 Ethernet 做 RDMA，消耗的资源比 iWARP 少，支持的特性比 iWARP 多，需要FCoE做可靠传输。从wikipedia的评价看 RoCE 还是比正统的 InfiniBand 差点。

上面三种实现都是需要硬件支持的，IB 需要支持 IB 规范的网卡和交换机，iWARP 和 RoCE 都可以使用普通的以太网交换机，但是需要支持 iWARP 或者 RoCE 的网卡。软件上 Solaris、Linux、Windows 都有支持，在 API 层面这篇文章有个入门的介绍：Introduction to Remote Direct Memory Access (RDMA)，可以使用http://www.rdmamojo.com/2014/03/31/remote-direct-memory-access-rdma/http://www.openfabrics.org/http://www.openfabrics.org/提供的 libibverbs 库(Debian Linux 有提供)，这个库似乎也支持 Windows 上的原声 RDMA API "Network Direct"。另外也有一些其它 API 规范，比如 DAT 组织制定的 kDAPL(让 kernel driver 可以访问 RDMA 功能) 和 uDAPL(让 user space 进程可以访问 RDMA 功能), OpenGroup 制定的 IT-API 和 RNICPI:

另外 IETF 制定了 iSCSI Extensions for RDMA(iSER) 和 SDP(Sockets Direct Protocol, 基于 RDMA 替换 TCP 的流式传输层协议, RDMA 本身提供了可靠传输机制) 两个协议。Java 7 引入了对 SDP 的支持: https://docs.oracle.com/javase/tutorial/sdp/sockets/index.html，Apache Qpid 消息队列也支持 RDMA：https://packages.debian.org/sid/librdmawrap2 .