关于使用英伟达MLNX网卡的技巧

安装驱动

1.进入英伟达官网选择对应的系统下载
官网: 驱动下载.
2.挂载ISO镜像文件或解压压缩文件
3.执行挂载

mount -o ro,loop MLNX_OFED_LINUX---.iso /mnt

4.挂载完毕后进入安装步骤

/mnt/mlnxofedinstall
Logs dir: /tmp/MLNX_OFED_LINUX-x.x-x.logs
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.
Starting MLNX_OFED_LINUX-x.x.x installation …
…
…
Installation finished successfully.
Attempting to perform Firmware update…
Querying Mellanox devices firmware …

注意：Ubuntu 的MLNX_OFED应该在 chroot 环境中使用以下标志安装：./mlnxofedinstall --without-dkms --add-kernel-support --kernel <chroot 中的内核版本> --without-fw-update --force 例如：

./mlnxofedinstall --without-dkms --add-kernel-support --kernel 3.13.0-85-generic --without-fw-update --force

请注意，如果你的系统内核源不在其默认位置，则应添加内核源（–内核源）的路径。
5.安装成功会出现Installation passed successfully
6.重启网卡

sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart

7.查看网卡状态

sudo hca_self_test.ofed

8.查看网卡与网口对应关系

ibdev2netdev

基本的指令

查看网卡信息

systemctl start mst
mst status
mlxconfig -d /dev/mst/mt4119_pciconf0 query

修改参数

mlxconfig -d /dev/mst/mt4119_pciconf0 set

打印PCIE网卡数据

lspci -v | grep Mellanox

查询设备信息

ibv_devinfo

查询RDMA IB数据

ibstat

所使用的五代网卡可以转变端口状态，即以太网模式或RDMA端口模式。

网卡使用指导书: 网卡使用指导书.

网卡测试

当使用的是双口双ip网卡时，可进行回环测试，使用ifconfig将两端口各自配置IP
1.当测试send操作时，在一个终端执行

ib_send_bw

2.在另一个终端执行

ib_send_bw 192.168.1.101 --report_gbits -F

3.当测试write操作时，在一个终端执行

ib_write_bw

4.在另一个终端执行

ib_write_bw 192.168.1.102 --report_gbits -F

5.执行ibv_rc_pingpong同理

RDMA抓包工具

对于MLNX5及以上版本的网卡使用tcpdump抓取RDMA数据包需要在docker中使用

docker pull mellanox/tcpdump-rdma

docker run -it -v /dev/infiniband:/dev/infiniband -v /tmp/traces:/tmp/traces --net=host --privileged mellanox/tcpdump-rdma bash

tcpdump -i mlx5_0 -s 0 -w /tmp/traces/capture1.pcap

这里的mlx5_0是网卡的端口号，而不是ifconfig中的端口名称，如果使用ifconfig中的端口，会认为只抓取tcp流量，然后可以通过scp将捕获的数据包传到主机使用wireshark查看