详解GPU直通技术和背景

GPU 直通是指服务器的GPU以直通方式分配给虚拟机，并通过远程协议使得用户可以从远程进行接入。

GPU直通方式，将承载虚拟机的云平台的物理节点上的GPU显卡绑定分配给用户虚拟机，终端用户通过终端远程接入用户虚拟机，这样虚拟机就可以使用GPU获取3D加速能力。

优势在于：支持多种类型的显卡，兼容性好，支持符合最新DirectX、OpenGL规范的3D应用。

GPU直通的技术背景

当前图像分类，视频分析，语音识别以及自然语音处理等应用场景下，使用GPU 能极大提高并发处理性能。

例如：人脸识别需要处理成千上万张高清图片，电脑游戏也需要处理大量炫丽的游戏界面。这些都是GPU典型的使用场景。

GPU包含上千个计算单元，在并行计算方面展示出强大的优势，GPU直通实例针对深度学习特殊优化，可在短时间内完成海量计算。

在科学计算领域，要求极强的双精度计算能力，在模拟仿真过程中，消耗大量计算资源的同时，会产生大量临时数据，对存储带宽与时延也有极高的要求。GPU直通实例可以满足这些需求。

GPU 云服务器(GPU Cloud Computing)是基于 GPU 的应用于深度学习、科学计算等多种 GPU 计算场景的快速、稳定、弹性的计算服务。

GPU直通实现方式：通过虚拟化平台的直通技术可以将GPU直接给虚拟机使用，与物理服务器使用GPU的效果基本一致，在虚拟机内上只要安装了对应GPU的驱动，GPU就可以为这个虚拟机提供高性能的图形能力。

GPU直通的技术方案

GPU直通是也叫GPU pass-through直通，是将PCI插槽上的物理设备（这里指GPU设备）绕过OS层，直接提供给了VM。一般情况下PCI设备提供到VM，是需要经过OS层面的设备驱动，经过OS识别到该PCI设备，再将物理设备模拟提供给了VM。

如图所示，pass-through直通是直接把物理设备直通给虚拟机，在VM层面看到的该设备，就完全是一块物理卡。普通的设备模拟需要经过HostOS的物理驱动，然后经过Qemu的模拟驱动，再转发到Guest OS内的驱动上，在VM层面看到的设备实际上是模拟的设备。

GPU直通的技术优势

• 1、  性能损失小。无论是AI应用，深度学习还是科学计算来说，对使用GPU直通实例就是要极致利用GPU的性能，GPU直通技术由于没有设备模拟和转换的过程，性能损耗极小，如下表所示，GPU直通虚拟机的GPU性能与裸机上的GPU相比性能损失小于5%。GPU包含上千个计算单元，在并行计算方面展示出强大的优势。

  
  

• 2、  功能兼容性好。相对于设备模拟或者GPU虚拟化技术，因为虚拟机里面直接安装的是GPU厂商的驱动，直通设备可无损使用GPU的各项特性和功能：3D图形加速渲染，视频硬件编解码，人工智能，机器学习，以及最新的多GPU互联互通等。

• 3、 对GPU厂商无依赖。需要搬迁GPU服务器到云上非常简单，依赖于GPU直通技术，在几天之内就可完成。

在科学计算大多数领域中都可以使用GPU加速，包括化学研究，流体动力学分析，结构分析，环境建模，地球物理学，可视化/图像处理。在科学计算领域，要求极强的双精度计算能力。

在模拟仿真过程中，消耗大量计算资源的同时，会产生大量临时数据，对存储带宽与时延也有极高的要求，这些场景通常采用GPU直通技术。

识别试读或订阅专栏课程

相关阅读：

• 谈谈GPU和CPU为何不同？

温馨提示：

请识别二维码关注公众号，点击原文链接获取更多技术资料汇总。