RDMA编程养成记

高性能分布式文件系统FastCFS从今年7月份开始适配RDMA 网络，经过4个多月的预研、开发和测试，通过 ibverbs和rdmacm原生支持RDMA的FastCFS 5.0于11月22日发布。

RDMA编程初学者可以了解一下RDMA概念及相关介绍：《初识RDMA技术——RDMA概念，特点，协议，通信流程》。RDMA网络环境可以租用阿里云的第四代神龙架构服务器，如c8y，g8y等，在ECS租用页面记得要勾选“弹性RDMA接口”。

一、RDMA 快速入门

1. 使用perftest测试工具

CentOS和RHEL等Linux发行版：yum install perftest -y

Ubuntu和Debian：apt install perftest -y

perftest提供的测试程序将server和client合为一体，通过命令行参数区分，分别在两台服务器执行，先在一台机器执行 server，然后再另外一台机器执行 client。

消息收发机制的两个测试命令如下：

  ib_send_bw：测试网络带宽

  ib_send_lat：测试网络延迟

ib_send_bw 和 ib_send_lat 的参数基本一致，以ib_send_bw为例：

  server端： ib_send_bw -R -d mlx5_1 -s 4096 -D 60

  client端： ib_send_bw -R -d mlx5_1 -s 4