RDMA Block 设备驱动介绍
我们现在测试使用的 Chelsio T4 及 T5 系列万兆以太网卡支持 iWARP RDMA 功能,查阅文档之后发现此系列的万兆网卡除了支持常用的基于 IP 协议的 iSCSI 以及 NFS-RDMA 之类的功能,Chelsio 还特别提供了基于 RDMA 的 Block 设备驱动(以下简称 RBD 驱动)。
RDMA 技术本身我就不做详细介绍了,Chelsio 提供的 RBD 驱动则支持通过 iWARP 网卡的 RDMA 连接在 Linux 系统中虚拟新的块设备,其架构如下图所示,可以看到也是 target - initiator 模式:
RDMA Block 设备驱动架构
基于 iWARP 的 RBD 对比 iSCSI 等技术可以显著提高性能及降低延迟,虽然 RBD 驱动目前仍然处于测试阶段,只支持 Linux 系统,而且也存在一些限制:
最大 RBD I/O 大小为 128 KB;
Outstanding I/O 最大为 256;
目前物理和逻辑扇区都固定为 4 KB。
但看起来并不妨碍我们拿来做一些简单的测试的。
测试环境
Chelsio T420-CR 双口 10Gbps 万兆网卡;
万兆网卡都使用 PCI-E 2.0 x 8 插槽;
服务器和客户端均采用 Linux 64 位 3.18 版本 kernel;
<