使用IB驱动自带的工具对mellanox&nvidia IB网络进行基准测试

说明：

本次以200G HDR IB网卡作为案例使用ib驱动自带命令测试安装完驱动，开启opensm服务后

使用以下命令检查ib网卡运行环境是否OK

[root@gpu1 ~]# mlnx_tune

使用ibping 测试IB底层网络连通性，ibping -S 开启服务端，-L 在客户端ping 服务端的lid

服务端：ibping -S -C mlx5_0 -P 1 (-C 为指定ibstat看到的CA名称，-P为指定端口)

客户端：ibping -c 10 -C mlx5_0 -P 1 -L 3 （-c数据包，-C同上，-P同上 -L ibstat看到的服务端的lib号）

 

 

读延迟测试 

服务端启动：

ib_read_lat --ib-dev=mlx5_0 --ib-port=1

或

ib_read_lat --ib-dev=mlx5_0 --ib-dev=mlx5_1 --ib-port=1 --ib-port=1 -a

客户端启动：

ib_read_lat --ib-dev=mlx5_0 --ib-port=1 12.12.12.65 -a

写延迟测试

服务端启动：

ib_write_lat --ib-dev=mlx5_0 --ib-dev=mlx5_1 --ib-port=1 --ib-port=1 -a

客户端启动：

ib_write_lat 12.12.12.65  -a

吞吐测试 

写吞吐测试

服务端启动：

ib_write_bw --ib-dev=mlx5_0 --ib-dev=mlx5_1 --ib-port=1 --ib-port=1 -a

客户端启动：

ib_write_bw 12.12.12.65 -a --report_gbits

 

读吞吐测试

服务端启动：

ib_read_bw --ib-dev=mlx5_0 --ib-dev=mlx5_1 --ib-port=1 --ib-port=1 -a

客户端启动：

ib_read_bw 12.12.12.65  -a --report_gbits