Mellanox网卡驱动安装

网卡驱动安装

以用户名root登录系统安装驱动
检查主机是否安装了HCA：
lspci -v | grep Mellanox

下载驱动MLNX_OFED_LINUX-5.1-2.5.8.0-rhel7.6-x86_64.tgz，解压，进入解压目录下执行如下命令:
./mlnxofedinstall

如果最后显示Failed to update Firmware.是不影响正常使用的。
安装过程中不要断网，不然有可能会出错。
会报一堆依赖缺少，安装工具会提醒你用yum install指令，直接复制粘贴搞定。
yum intstall 缺少的部分
yum install tcl fuse-libs tk

启动openibd并设为开机启动：
service openibd start
systemctl enable openibd

启动子网管理器opensmd并设为开机启动：
service opensmd start
systemctl enable openibd opensmd

查看HCA端口状态，若State为Active，则表示正常。
ibstat

还可以用如下命令查看HCA端口：
hca_self_test.ofed

8.重启系统
reboot

用如下命令卸载驱动：
/usr/sbin/ofed_uninstall.sh

IPoIB配置
查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。
ibstat

切换IB模式到以太网模式：
[RStoneOS]172.16.1.193~# apt-get install mstflint
[RStoneOS]172.16.1.193~# lspci -v |grep Mellanox
86:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Subsystem: Mellanox Technologies ConnectX-4 Lx Stand-up dual-port 10GbE MCX4121A-XCAT
86:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Subsystem: Mellanox Technologies ConnectX-4 Lx Stand-up dual-port 10GbE MCX4121A-XCAT
af:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Subsystem: Mellanox Technologies ConnectX-4 Lx Stand-up dual-port 10GbE MCX4121A-XCAT
af:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Subsystem: Mellanox Technologies ConnectX-4 Lx Stand-up dual-port 10GbE MCX4121A-XCAT
d8:00.0 Infiniband controller: Mellanox Technologies MT27800 Family [ConnectX-5]
        Subsystem: Mellanox Technologies MT27800 Family [ConnectX-5]
d8:00.1 Infiniband controller: Mellanox Technologies MT27800 Family [ConnectX-5]
        Subsystem: Mellanox Technologies MT27800 Family [ConnectX-5]
        
[RStoneOS]172.16.1.193~# mstconfig -d d8:00.0 set LINK_TYPE_P1=2

Device #1:
----------

Device type:    ConnectX5       
Name:           MCX556A-ECA_Ax  
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         d8:00.0         

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        IB(1)           ETH(2)          

 Apply new Configuration? (y/n) [n] : Y
Applying... Done!
-I- Please reboot machine to load new configurations.
[RStoneOS]172.16.1.193~# mstconfig -d d8:00.1 set LINK_TYPE_P2=2

Device #1:
----------

Device type:    ConnectX5       
Name:           MCX556A-ECA_Ax  
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         d8:00.1         

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        ETH(2)          ETH(2)          

 Apply new Configuration? (y/n) [n] : Y
Applying... Done!
-I- Please reboot machine to load new configurations.
[RStoneOS]172.16.1.193~# 

查看修改结果：        
[RStoneOS]172.16.1.193~# mstconfig -d d8:00.1 q
如下字段显示：
LINK_TYPE_P1 ETH(2)
LINK_TYPE_P2 ETH(2)