NVIDIA ConnectX-5 或 ConnectX-6 适配器在ESXI8.0上SR-IOV实践

---

前言

客户要求虚拟机网络具有高性能，于是采用以下方案
服务器方面我们使用Mellanox ConnectX-5 DX 双端口 100Gbe QSFP56 网络适配，为虚拟机提供硬件支撑。
软件方面我们使用VMware vSphere虚拟化方案，采用单根I/O虚拟化（SR-IOV）技术
SR-IOV 使网络流量能够绕过 VMware 虚拟化堆栈的软件交换机层。 由于 VF 分配给子分区，因此网络流量直接在 VF 和子分区之间流动。 因此，软件仿真层中的 I/O 开销会减少，并达到与非虚拟化环境中几乎相同的网络性能

—

一、概述

SR-IOV 配置包括以下步骤：
1.在 BIOS 中启用虚拟化 (SR-IOV)（先决条件）。
2.在固件中启用 SR-IOV。
3.在 MLNX_OFED 驱动程序中启用 SR-IOV。
4.通过 SR-IOV 将虚拟机 (VM) 映射到相关端口。

二、先决条件

1.BIOS中启用SR-IOV

以下是Dell服务器BIOS开启功能的截图

开启全局SR-IOV

开启CPU虚拟化和IOMMU

2.安装NVIDIA固件工具（MFT）

NVIDIA 固件工具 (MFT) 包是一组固件管理工具，用于：

1. 生成标准或定制的 NVIDIA 固件映像
2. 查询固件信息
3. 刻录固件映像

安装MFT工具

1. 进入 MFT 网页： http://www.NVIDIA.com/page/management_tools。

2. 下载nmst和MFT安装包
   

3. ESXI主机开启SSH和shell
   

4. 将下载好的安装解压，将其中的vib文件上传到ESXI主机的tmp目录
   

5. 通过命令安装MFT和nmst

cd /tmp/ *进入tmp*
ls          *列出vib文件*
esxcli network nic list *查看ESXI主机网络适配器*
esxcli network nic ger -n  vmnic0 *查询vmnic0的网络适配器信息*
esxcli software vib install -v /tmp/MEL_bootbank_nmst_4.23.0.104-1OEM.800.1.0.20513097.vib -f  *安装nmst包*
esxcli software vib install -v /tmp/MEL_bootbank_mft_4.23.0.104-0.vib -f  *安装mft包*

6. 将ESXI主机进入维护模式，重启主机。再进入启动mst驱动

cd /opt /mellanox/bin *进入bin目录*
ls  *列出文件*
./mst start *启动mst驱动*
./mst staut  *输出NVIDIA设备的状态*
./mst status -vv *显示设备状态和详细信息*
./mlxfwanager - -query   *查询设备*

后记：vSphere8.0已经可以使用Lifecycle Manager方式安装，之后有时间更新这个方式。

三. 固件中启用SR-IOV

1. 查询设备状态，启用SR-IOV并设置VF

mlxconfig -d mt4119_pciconf0 q  *mt4119_pciconf0由 ./mst staut查询
mlxconfig -d mt4119_pciconf0 s SRIOV_EN=1 NUM_OF_VFS=16    

2. 重启ESIX主机
3. 检查是否启用SR-IOV

mlxconfig -d mt4119_pciconf0 q 

检查以下2项
NUM_OF_VFS 16
SRIOV_EN    True（1）

4. 在驱动程序启动SR-IOV

esxcli system module parameters list -m nmlx5_core
esxcli system module parameters set -m nmlx5_core -p "max_vfs=16,16"

5. 重启ESXI主机
6. 检查PCI总线并确认VF

 lspci -d | grep Mellanox 

7. 在ESXI主机上查看SR-V是否启用
   

四.创建虚拟机并分配SR-IOV

1. 选择需要高性能的虚拟机
2. 编辑虚拟机设置，勾选预留所以客户机内存。
3. 添加网络适配器
4. 选择新建网络适配-虚拟机网络
5. 适配器类型更改为PCI设备直通，允许客户机MTU更改。