【RDMA】RDMA网卡通讯

我是个小白，从零学RDMA，如有错误还请指正，不胜感激。

在Unbuntu18.04环境下，内核自带rdma-core，输入以下命令可以查看系统版本信息

cat /proc/version

检查RDMA网卡是否已安装

lspci | grep -i mellanox

如果存在则会输出类似于以下的相关信息

检查网卡工作状态，ibv_devices是一个包含在libibverbs-utils.rpm包里的工具，用于显示本机上的RDMA设备：

ibv_devices

 

 其他的一些信息，在state里要有PORT_ACTIVE才说明RDMA可以运行起来

ibv_devinfo

 

下面用rdma_server和rdma_client测试网卡的连通情况

rdma_server和rdma_client是一个简单的ping-pong测试，用于在两个节点之间建立RDMA连接

先在server端查看ip地址

ifconfig

再执行

rdma_server

在另一台虚拟机上运行

rdma_client -s 10.5.1.3

 在client端出现如上字符说明RDMA连接正常

下面使用rping在两个节点之间建立一组可靠的RDMA连接，并在节点之间传输数据 

在server端输入以下命令，-s表示服务器，-C表示ping次数，-v将信息输出

rping -s -C 10 -v

在client端

rping  -c -a 10.5.1.3 -C 10 -v

输出以下信息

下面进行一些RDMA的性能测试，使用ib_*系列命令

ib_send_*、ib_write_*、ib_read_*这三个函数都是 InfiniBand API 中的函数，用于在 InfiniBand 网络上进行数据传输。它们的主要区别如下：

1. ib_send_*：用于向远程端点发送消息。发送操作可以是阻塞或非阻塞的，具体取决于函数的参数。它需要指定发送数据的缓冲区、数据大小、发送完成后的通知方式等参数。

2. ib_write_*：用于将数据写入到远程端点的接收缓冲区。写操作通常是阻塞的，它需要指定写入数据的缓冲区、数据大小、写入位置等参数。

3. ib_read_*：用于从远程端点的发送缓冲区读取数据。读操作通常是阻塞的，它需要指定接收数据的缓冲区、数据大小、读取位置等参数。

总之，ib_send_*、ib_write_* 和 ib_read_* 都是用于数据传输的函数，但它们的作用和使用方式略有不同。其中，ib_send_* 是发送数据，ib_write_* 是将数据写入到接收缓冲区， ib_read_* 是从发送缓冲区读取数据。

带宽测试，在server端

ib_send_bw -d mlx5_0

在client端

ib_send_bw -d mlx5_0 10.5.1.3

运行之后client

 本次带宽约85Gb/s

延迟测试与带宽测试基本一致，将bw改为lat，运行之后