服务器性能测试之Melloanox卡RDMA测试

接好外插mellanox网卡并配置IP
客户端：
vim /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.64.20
NETMASK=255.255.255.0
NETWORK=192.168.64.0
服务端：
vim /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=192.168.64.21
NETMASK=255.255.255.0
NETWORK=192.168.64.0
配置好IP后重启网络systemctl restart network
两个机器互相可以ping通
下载对应OS版本的ib卡驱动https://www.mellanox.com/page
将驱动程序拷贝到系统下解压tar -zxvf 文件，安装./mlnxofedinstall --force
启动服务/etc/init.d/openibd restart
查看网口信息ibstat
eg: mlx5_1
测试带宽和往返时间：
服务端：ibv_rc_pingpong -g 0 -d mlx5_1 -i 1
客户端：ibv_rc_pingpong -g 0 -d mlx5_1 -i 1 对端的IP地址
测试带宽：
服务端：ib_write_bw/ib_send_bw -d mlx5_0 -i 1
客户端：ib_write_bw/ib_send_bw 对端的IP地址 -d mlx5_0 -i1 --report_gbits -F
//-a 参数可msg size 递增测试出最大带宽的msg size
测试延迟：
服务端：ib_write_lat /ib_cend_lat -d mlx5_0 -i 1
客户端：ib_write_lat 对端IP地址 / ib_send_lat 对端IP地址 -d mlx5_0 -i 1

1.测试case1_业务50Gbps线速验证
server：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 --run_infinitely

client：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 10.10.10.2 --run_infinitely

2.测试case2_同TOR时2对1丢包测试
server：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 --run_infinitely

client1：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 10.10.10.2 --run_infinitely

client2：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 10.10.10.2 --run_infinitely

3.测试case3_跨TOR时2对1丢包测试
server：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 --run_infinitely

client1：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 10.10.10.2 --run_infinitely

client2：ib_send_bw -d mlx5_bond_0 -i 1 -F --qp=4 10.10.10.2 --run_infinitely

4._测试case4_延时测试
ib_send_lat -d mlx5_1 -F -x 3

ib_send_lat -d mlx5_1 -F -x 3 10.10.10.1 -s 1500B