Ubuntu 20.04 安装NVIDIA网卡驱动

Ubuntu 20.04 安装NVIDIA网卡驱动

查询系统版本和架构

查询系统信息
cat /etc/issue
---
root@ubuntu:~# cat /etc/issue
Ubuntu 20.04.6 LTS \n \l

查询架构
uname -m
---
root@ubuntu:~# uname -m
x86_64

---

下载安装对应系统版本架构的网卡驱动

官方驱动网站

Linux InfiniBand Drivers (nvidia.com)

ISO
wget https://content.mellanox.com/ofed/MLNX_OFED-23.10-2.1.3.1/MLNX_OFED_LINUX-23.10-2.1.3.1-ubuntu20.04-x86_64.iso
--
TGZ
wget https://content.mellanox.com/ofed/MLNX_OFED-23.10-2.1.3.1/MLNX_OFED_LINUX-23.10-2.1.3.1-ubuntu20.04-x86_64.tgz
--
SOURCES
wget https://content.mellanox.com/ofed/MLNX_OFED-23.10-2.1.3.1/MLNX_OFED_SRC-debian-23.10-2.1.3.1.tgz

检查系统是否识别到网卡设备

sudo -i

lspci |grep Mellanox

挂载或者解压驱动包，安装网卡驱动

ISO方式

mount 挂载iOS文件到指定目录

cd 到指定目录里

apt update
./mlnxofedinstall --all --force

---

---

tar方式

apt update
tar  xf    MLNX_OFED_LINUX-23.10-2.1.3.1-ubuntu20.04-x86_64.tgz
cd  MLNX_OFED_LINUX-23.10-2.1.3.1-ubuntu20.04-x86_64
./mlnxofedinstall --all --force

---

安装完成后，提示重启驱动

/etc/init.d/openibd restart

root@ubuntu:~/IB/1# /etc/init.d/openibd restart
Unloading HCA driver:                                      [  OK  ]
Loading HCA driver and Access Layer:                       [  OK  ]

配置网卡静态ip地址

ibdev2netdev
root@ubuntu:~/IB/1# cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      addresses:
      - 192.168.254.10/24
      nameservers:
        addresses:
        - 8.8.8.8
        - 223.5.5.5
        - 223.6.6.6
        search: []
      routes:
      - to: default
        via: 192.168.254.2
  version: 2

使配置生效：
sudo netplan apply

使用驱动自带性能测试工具测试网卡性能

通常使用到的测试命令：
带宽测试：

ib_write_bw

ib_send_bw

ib_read_bw

延时测试：

ib_write_lat

ib_send_lat

ib_read_lat

注意：测试前需要关闭防火墙，或者放行测试工具的默认端口号 18515

使用方法，至少使用2台服务器，一台开启服务端，另外一台开启客户端去访问服务端。

服务端

在ubuntu1开启服务端：假设服务端ib网卡IP地址为 10.10.10.111/24

root@ubuntu1:~# ib_write_bw --report_gbits

客户端

在ubuntu2开启客户端去访问服务端：

root@ubuntu2:~# ib_write_bw --report_gbits 10.10.10.111 -D 30

说明:

–report_gbits # 以Gb/s 为单位显示测试结果
-D 30 # 测试时长 30 秒

常见问题和诊断

IB交换机端口状态LED灯处于橙色状态，或者网卡处于初始化状态 State：Initializing

ibstat

网卡处于初始化，说明IB子网中，子网管理器（SM）没有开启，开启SM常见的2种方式：在交换机或者服务器(选择其一即可)
在带管理的IB交换机（SB7800，QM8700，QM9700）开启SM：

ibswitch [standalone: master] > enable
ibswitch [standalone: master] # configure terminal
ibswitch [standalone: master] (config) # ib smnode 
ibswitch enableibswitch [standalone: master] (config) # show ib smenable
ibswitch [standalone: master] (config) # write memory

在服务器开启子网管理器，建议在2台服务器开启SM：

/etc/init.d/opensmd start

ibstat