NVIDIA GRID vgpu&gpumodeswitch工具使用场景及方法详解（GPU卡计算&图形模式切换）

目录

一、简介

1.1 计算和图形模式

1.2 什么情况下使用图形模式？ 

1.3 支持哪些GPU卡

二、gpumodeswitch工具使用

2.1 支持的环境

2.2 工具包包含哪些内容

2.3 安装gpumodeswitch VIB 

2.4 使用gpumodeswitch

2.4.1 运行gpumodeswitch的前提条件

2.4.2 列出当前GPU卡模式

2.4.3 切换GPU卡模式

2.4.3.1 使用交互式切换所有GPU卡模式 

 2.4.3.2 不使用交互式切换所有GPU卡模式

2.4.3.3 切换单个gpu

2.4.4 gpumodeswitch创建的日志文件

 2.4.4.1 列出GPU模式的日志文件

2.4.4.2 切换GPU模式的日志文件

2.4.4.3 修改日志文件目录

2.4.5 下一步骤

2.5 卸载gpumodeswitch VIB

2.6 从Linux引导镜像中启动

2.6.1 使用服务器虚拟光驱引导ISO

2.6.2 使用u盘启动

2.7 gpumodeswitch故障排除

2.7.1 卸载现有的NVIDIA驱动程序

2.7.7.1 在Linux下卸载现有的NVIDIA驱动程序环境

2.7.7.2 在Citrix中卸载现有的NVIDIA驱动程序环境管理程序

2.7.7.3 卸载VMware中现有的NVIDIA驱动程序ESXi环境

---

一、简介

GRID vGPU需要支持计算模式和图形模式的gpu才能在图形模式下运行。如果您的GPU同时支持这两种模式，但提供的是计算模式，则必须使用gpumodeswitch命令将GPU的模式更改为图形模式。gpumodeswitch是一个命令行工具，用于切换NVIDIA gpu计算和图形模式。本文介绍这些模式在什么场景下使用及gpumodeswitch具体使用方法。

1.1 计算和图形模式

Tesla M60和M6 gpu支持计算模式和图形模式。英伟达vGPU需要支持两种模式的gpu才能在图形模式下运行。

注意：即使在计算模式下，Tesla M60和M6 gpu也不支持NVIDIA 虚拟计算服务器vGPU类型。

最新的特斯拉M60 gpu和M6 gpu提供图形模式。如果GPU支持这图形跟计算两种模式，但处于计算模式，则必须使用gpumodeswitch工具，修改GPU模式为图形模式。如果不确定GPU处于哪种模式，使用gpumodeswitch工具列出当前的GPU模式。

GPU模式在上电时直接建立，存储在GPU的非易失性存储器当中。gpumodeswitch命令用于更新GPU的模式及GPU的非易失性内存设置。

计算模式是针对高性能计算进行优化的配置(HPC)应用程序，如下表所示。

计算模式设置

设置	值	注释
Classcode	3D Controller	Classcode向操作系统(OS)表明GPU不打算用作主要显示设备。
Memory BAR	8GB	Tesla gpu公开了一个大内存基址寄存器(BAR)用于从CPU直接访问帧缓冲区，以及其他PCI Express设备。
I/O base BAR	Disabled	GPU不需要消耗任何遗留的I/O资源用作非显示设备。
ECC保护	Enabled	GPU帧已开启ECC (Error Correcting Code)功能防止单位和多位内存错误的缓冲区。

虽然计算模式是HPC使用的最佳选择，当GPU主要用作图形输出处理设备时它可能会导致操作系统和管理程序兼容性问题

• 一些操作系统要求GPU按顺序使用VGA显示器将GPU用作主要图形设备。
• 某些虚拟机管理程序不支持将具有大内存bar的gpu直通到虚拟机中。

图形模式是为解决这些问题而优化的配置，如下表。

图形模式设置

设置	值	注释
Classcode	VGA Controller	此classcode向操作系统表明GPU可以作为主显示设备。
Memory BAR	256M	gpu为直接访问暴露了一个较小的内存帧缓冲区。
I/O base BAR	Enabled	GPU公开一个I/O BAR操作来声明所需的资源作为VGA图形显示。
ECC保护	Disabled	默认情况下，ECC保护是禁用的，但它仍然可以使用nvidia-smi管理工具启用

1.2 什么情况下使用图形模式？ 

建议在以下场景中使用支持的Tesla产品时使用图形模式:

在使用不支持大Memory BAR的管理程序的GPU直通时，应该使用图形模式。

• 包括Citrix Hypervisor 6.2、6.5、VMware ESXi 5.1、5.5、6.0、Red Hat企业Linux 7.0、7.1。
• Xen和KVM虚拟化环境下的Windows虚拟机GPU直通
• NVIDIA vGPU部署。
• VMware vSGA 部署

注意：有关与计算及图形模式兼容的最新资料，请参阅有关支持的虚拟机管理程序，请参阅NVIDIA Virtual GPU Software Documentation.发行说明。

1.3 支持哪些GPU卡

gpumodeswitch实用程序仅在以下产品上受支持:

‣ Tesla M60
‣ Tesla M6

注意：其他支持NVIDIA vGPU软件的gpu卡不需要也不支持mode切换。

二、gpumodeswitch工具使用

gpumodeswitch是一个命令行实用程序，可以运行在Windows、Linux或VMware ESXi上。
下面将介绍gpumodeswitch的使用方法和可选的Linux引导包包括gpumodeswitch。

2.1 支持的环境

gpumodeswitch工具可以在以下环境中运行

• Windows 64位命令行
• Linux 32/64位shell(包括Citrix Hypervisor dom0)
•  VMware ESXi hypervisor

2.2 工具包包含哪些内容

gpumodeswitch工具包包含以下文件:

gpumodeswitch.exe
Windows executable
nvflsh64.sys
Windows 64-bit driver module
gpumodeswitch
Linux executable, also usable on Citrix Hypervisor dom0
NVIDIA-GpuModeSwitch-1OEM.600.0.0.2494585.x86_64.vib
vSphere Installation Bundle (VIB) for VMware ESXi
gpumodeswitch.iso
Bootable Linux ISO image
gpumodeswitch.zip
Bootable Linux image for use with USB storage (e.g. a flash key)

2.3 安装gpumodeswitch VIB 

如果使用VMware ESXi作为管理程序，则必须安装gpumodeswitch VIB在尝试运行gpumodeswitch之前。安装VIB需要通过ESXi Shell或secure Shell访问ESXi主机(SSH)。有关如何为ESXi主机启用ESXi Shell或SSH的信息，请参见VMware文档。

1. 设置ESXi主机进入维护模式。

# vim-cmd hostsvc/maintenance_mode_enter

2. 如果ESXi主机上已经安装了NVIDIA驱动程序，请移除该驱动程序。

a).获取包含NVIDIA驱动程序的VIB包的名称。

# esxcli software vib list | grep -i nvidia

b).删除包含NVIDIA驱动程序的VIB包。

# esxcli software vib remove -n NVIDIA-driver-package

NVIDIA-driver-package是在上一步中获得的VIB包名称。

3. 执行esxcli命令安装VIB。

# esxcli software vib install --no-sig-check –v directory/NVIDIAGpuModeSwitch-
1OEM.600.0.0.2494585.x86_64.vib

directory是包含VIB文件的目录的路径。

4. 将主机退出维护模式。

# vim-cmd hostsvc/maintenance_mode_exit

5. 重启ESXi主机。

# reboot

现在可以运行gpumodeswitch来切换gpu的模式。切换图形处理器的模式后&