【Nvidia】nvidia 高级特性MIG详细介绍（一）

已于 2023-04-01 22:01:00 修改
阅读量4k 收藏 16
点赞数 9
分类专栏： GPU 文章标签： nvidia mig gpu
于 2023-02-07 09:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31985307/article/details/128893798
版权

博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！
博主链接

本人就职于国际知名终端厂商，负责modem芯片研发。
在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。


博客内容主要围绕：
       5G/6G协议讲解
       算力网络讲解（云计算，边缘计算，端计算）
       高级C语言讲解
       Rust语言讲解



nvidia 高级特性MIG详细介绍（一）

在这里插入图片描述

MIG:Multi-Instance GPU

       新的多实例GPU（MIG）功能允许GPU（从NVIDIA Ampere architecture开始）安全地划分为最多7个独立的GPU实例，用于CUDA应用程序，为多个用户提供独立的GPU资源，以实现最佳的GPU利用率。此功能对于工作负载未完全饱和的GPU来说特别有益，因此用户可能希望并行运行不同的工作负载以最大化利用率。

       使用MIG，每个实例的处理器都有独立和隔离的路径通过整个存储系统，芯片上的crossbar端口，L2 cache，内存控制器和DRAM地址总线都被唯一地分配给一个单独的实例。这确保了单个用户的工作负载可以在相同的L2缓存分配和DRAM带宽下，以可预测的吞吐量和延迟运行，即使其它任务正在抖动它们自己的缓存或饱和它们的DRAM接口。MIG能够对可用的GPU计算资源（包括流式多处理器，即SMs，以及复制引擎或解码器等GPU引擎）进行分区，从而为虚拟机、容器或进程等不同客户端提供定义好的故障隔离服务质量（QoS）。MIG允许多个GPU实例在单个物理NVIDIA Ampere GPU上并行运行。

请添加图片描述

       使用MIG，用户将能够像物理GPU一样查看和调度新的虚拟GPU实例上的作业。MIG支持Linux操作系统，支持使用Docker引擎的容器，支持Kubernetes和使用Red Hat虚拟化和VMware vSphere等管理程序的虚拟机。

一、MIG基础概念介绍

  • 流多处理器（SM，Streaming Multiprocessor）：流多处理器（SM）在GPU上执行计算指令；

  • GPU上下文：GPU上下文类似于CPU进程。它封装了在GPU上执行操作所需的所有资源，包括不同的地址空间、内存分配等。GPU上下文具有以下属性：

    • 错误隔离；
    • 独立的调度；
    • 不同的地址空间；

  • GPU引擎：GPU引擎在GPU上执行工作。最常用的引擎是执行计算指令的计算/图形引擎。其它引擎包括负责执行DMA复制的引擎（CE，copy engine）、负责视频解码的NVDEC、负责编码的NVENC等。每个引擎可以被独立调度，并为不同的GPU上下文执行工作；

  • GPU内存切片：GPU内存切片是GPU内存的最小部分，包括相应的内存控制器和缓存。一个GPU内存切片大约是GPU总内存资源的八分之一，包括容量和带宽；

  • GPU SM切片：GPU SM切片是GPU上SM的最小部分。在MIG模式下配置时，一个GPU SM片大约是GPU可用SM总数的七分之一；

  • GPU切片：GPU切片是由单个GPU内存切片和单个GPU SM切片组成的GPU的最小部分；

  • GPU实例：GPU实例（GI）是一个或多个GPU切片和其它GPU引擎（DMAs、NVDECs等）的组合。一个GPU实例中的任何东西总是共享所有GPU内存切片和GPU引擎，但它的SM切片可以进一步细分为计算实例（CI，Compute Instance）。GPU实例提供内存QoS。每个GPU切片包含专用的GPU内存资源，限制可用容量和带宽，并提供内存QoS。每个GPU内存切片获得GPU总内存资源的1/8，每个GPU SM切片获得SMs总数的1/7；

  • 计算实例：一个GPU实例可以细分为多个计算实例。计算实例（CI）是父GPU实例的SM切片和其它GPU引擎（DMAs、NVDECs等）的一个子集。CIs共享内存和引擎。

GPU资源逻辑图：
在这里插入图片描述

CI示意图：
在这里插入图片描述


二、举个例子

下面是一个A100（40GB）的GPU，可以认为有8x5GB的内存片和7个SM片，如下图所示：
请添加图片描述

2.1 GPU实例举例

       如上所述，创建一个GPU实例（GI）需要将一定数量的内存片和一定数量的计算片组合在一起。在下面的图表中，5GB内存切片与1个计算切片组合在一起，以创建一个1g.5gb GI配置文件：

请添加图片描述
       类似地，4x5GB内存切片可以与4x1计算切片组合以创建4g.20gb GI配置文件：

请添加图片描述

2.2 计算实例（CI）举例

       GPU实例的计算切片可以进一步细分为多个计算实例(compute Instance, CI)， CI共享父GI的引擎和内存，但每个CI都有专用的SM资源。使用上面提到的4g.20gb的例子，创建一个CI只使用第一个计算切片，如下所示：

请添加图片描述

       在本例中，可以通过选择任何计算片创建4个不同的CI。两个计算切片也可以组合在一起创建一个2c.4g.20gb的配置文件：

请添加图片描述
       在这个例子中，3个计算切片也可以组合起来创建一个3c.4g.20gb配置文件或全部4个CI可以组合起来创建一个4c.4g.20gb的配置文件。当所有4个计算片组合在一起时，该配置文件被简称为4g.20gb。


三、MIG设备命名规则

       默认情况下，MIG设备由单个GPU实例和单个计算实例组成。下表强调了一种命名约定，通过其GPU实例的计算切片数和以GB为单位的总内存（而不仅仅是其内存切片数）来引用MIG设备。当创建的CI会消耗整个GI的计算切片时，设备名称中会隐藏CI的大小。

请添加图片描述

注意：下表展示了一个A100-SXM4-40GB设备的配置文件名称。对于A100-SXM4-80GB，配置文件名称将根据内存比例而变化——例如，1g.10gb、2g.20gb、3g.40gb、4g.40gb、7g80gb。

Memory20gb10gb5gb
GPUInstance3g2g
Compute Instance3c2c1c
MIG Device3g.20gb2g.10gb1g.5gb
GPCGPCGPCGPCGPCGPC

       根据用户的工作负载，每个GI可以进一步细分为多个CI。下表突出显示了在这种情况下MIG设备的名称。所示示例是对一个3g.20gb设备的细分，使其成为一个具有不同计算实例切片数的子设备。

在这里插入图片描述

       GPU实例（GIs）和计算实例（CIs）在MIG的/proc文件系统中被枚举，相应的设备节点（mig-minor）会在/dev/nvidia-caps下创建。MIG通过在运行时向应用程序指定CUDA设备来支持运行CUDA应用程序。CUDA 11/R450和CUDA 12/R525只支持单个MIG实例的枚举。换句话说，无论创建了多少个MIG设备（或使容器可用），单个CUDA进程只能枚举一个MIG设备。

       CUDA应用程序将CI及其父GI视为单个CUDA设备。CUDA只能使用单个CI，如果有多个CI可见，将选择第一个可用的CI。总而言之，有两个约束条件：

  1. CUDA只能枚举单个计算实例；
  2. 如果在任何其它GPU上枚举了任何计算实例，CUDA将不会枚举 non-MIG GPU；

请注意，这些限制可能会在未来的NVIDIA MIG驱动程序版本中改变

       CUDA_VISIBLE_DEVICES已被扩展以增加对MIG的支持。根据所使用的驱动程序版本，支持两种格式：

  1. 驱动版本 >= R470（470.42.01+），每个MIG设备被分配一个以MIG-<UUID>开始的GPU UUID;
  2. 驱动版本 < R470，通过指定CI和相应的父GI枚举每个MIG设备。格式为MIG-<GPU- uuid >/<GPU实例ID>/<计算实例ID>。

使用R470 NVIDIA数据中心驱动程序（470.42.01+），下面的示例显示了MIG设备如何在8-GPU系统中分配GPU uuid，每个GPU配置不同。

$ nvidia-smi -L        

GPU 0: A100-SXM4-40GB (UUID: GPU-5d5ba0d6-d33d-2b2c-524d-9e3d8d2b8a77)
  MIG 1g.5gb      Device  0: (UUID: MIG-c6d4f1ef-42e4-5de3-91c7-45d71c87eb3f)
  MIG 1g.5gb      Device  1: (UUID: MIG-cba663e8-9bed-5b25-b243-5985ef7c9beb)
  MIG 1g.5gb      Device  2: (UUID: MIG-1e099852-3624-56c0-8064-c5db1211e44f)
  MIG 1g.5gb      Device  3: (UUID: MIG-8243111b-d4c4-587a-a96d-da04583b36e2)
  MIG 1g.5gb      Device  4: (UUID: MIG-169f1837-b996-59aa-9ed5-b0a3f99e88a6)
  MIG 1g.5gb      Device  5: (UUID: MIG-d5d0152c-e3f0-552c-abee-ebc0195e9f1d)
  MIG 1g.5gb      Device  6: (UUID: MIG-7df6b45c-a92d-5e09-8540-a6b389968c31)
GPU 1: A100-SXM4-40GB (UUID: GPU-0aa11ebd-627f-af3f-1a0d-4e1fd92fd7b0)
  MIG 2g.10gb     Device  0: (UUID: MIG-0c757cd7-e942-5726-a0b8-0e8fb7067135)
  MIG 2g.10gb     Device  1: (UUID: MIG-703fb6ed-3fa0-5e48-8e65-1c5bdcfe2202)
  MIG 2g.10gb     Device  2: (UUID: MIG-532453fc-0faa-5c3c-9709-a3fc2e76083d)
GPU 2: A100-SXM4-40GB (UUID: GPU-08279800-1cbe-a71d-f3e6-8f67e15ae54a)
  MIG 3g.20gb     Device  0: (UUID: MIG-aa232436-d5a6-5e39-b527-16f9b223cc46)
  MIG 3g.20gb     Device  1: (UUID: MIG-3b12da37-7fa2-596c-8655-62dab88f0b64)
GPU 3: A100-SXM4-40GB (UUID: GPU-71086aca-c858-d1e0-aae1-275bed1008b9)
  MIG 7g.40gb     Device  0: (UUID: MIG-3e209540-03e2-5edb-8798-51d4967218c9)
GPU 4: A100-SXM4-40GB (UUID: GPU-74fa9fb7-ccf6-8234-e597-7af8ace9a8f5)
  MIG 1c.3g.20gb  Device  0: (UUID: MIG-79c62632-04cc-574b-af7b-cb2e307120d8)
  MIG 1c.3g.20gb  Device  1: (UUID: MIG-4b3cc0fd-6876-50d7-a8ba-184a86e2b958)
  MIG 1c.3g.20gb  Device  2: (UUID: MIG-194837c7-0476-5b56-9c45-16bddc82e1cf)
  MIG 1c.3g.20gb  Device  3: (UUID: MIG-291820db-96a4-5463-8e7b-444c2d2e3dfa)
  MIG 1c.3g.20gb  Device  4: (UUID: MIG-5a97e28a-7809-5e93-abae-c3818c5ea801)
  MIG 1c.3g.20gb  Device  5: (UUID: MIG-3dfd5705-b18a-5a7c-bcee-d03a0ccb7a96)
GPU 5: A100-SXM4-40GB (UUID: GPU-3301e6dd-d38f-0eb5-4665-6c9659f320ff)
  MIG 4g.20gb     Device  0: (UUID: MIG-6d96b9f9-960e-5057-b5da-b8a35dc63aa8)
GPU 6: A100-SXM4-40GB (UUID: GPU-bb40ed7d-cbbb-d92c-50ac-24803cda52c5)
  MIG 1c.7g.40gb  Device  0: (UUID: MIG-66dd01d7-8cdb-5a13-a45d-c6eb0ee11810)
  MIG 2c.7g.40gb  Device  1: (UUID: MIG-03c649cb-e6ae-5284-8e94-4b1cf767e06c)
  MIG 3c.7g.40gb  Device  2: (UUID: MIG-8abf68e0-2808-525e-9133-ba81701ed6d3)
GPU 7: A100-SXM4-40GB (UUID: GPU-95fac899-e21a-0e44-b0fc-e4e3bf106feb)
  MIG 4g.20gb     Device  0: (UUID: MIG-219c765c-e07f-5b85-9c04-4afe174d83dd)
  MIG 2g.10gb     Device  1: (UUID: MIG-25884364-137e-52cc-a7e4-ecf3061c3ae1)
  MIG 1g.5gb      Device  2: (UUID: MIG-83e71a6c-f0c3-5dfc-8577-6e8b17885e1f)

四、预配置的配置文件

       一个GI可以创建的切片数量不是任意的。NVIDIA驱动程序APIs提供了许多“GPU实例配置文件”，用户可以通过指定其中一个配置文件来创建GIs。在给定的GPU上，只要有足够的切片来满足请求，就可以通过这些配置文件来创建多个GIs。

       例如，下表展示了一个A100-SXM4-40GB设备的配置文件名称。对于A100-SXM4-80GB，配置文件名称将根据内存比例而变化——例如，1g.10gb、2g.20gb、3g.40gb、4g.40gb、7g80gb。

Profile NameFraction of MemoryFraction of SMsHardware UnitsL2 Cache SizeCopy EnginesNumber of Instances Available
MIG 1g.5gb1/81/70 NVDECs /0 JPEG /0 OFA1/817
MIG 1g.5gb+me1/81/71 NVDEC /1 JPEG /1 OFA1/811 (A single 1g profile can include media extensions)
MIG 1g.10gb1/81/71 NVDECs /0 JPEG /0 OFA1/814
MIG 2g.10gb2/82/71 NVDECs /0 JPEG /0 OFA2/823
MIG 3g.20gb4/83/72 NVDECs /0 JPEG /0 OFA4/832
MIG 4g.20gb4/84/72 NVDECs /0 JPEG /0 OFA4/841
MIG 7g.40gbFull7/75 NVDECs /1 JPEG /1 OFAFull71

下图显示了如何构建GPU实例的所有有效组合的图示。

请添加图片描述
       在这个图中，通过从左边的实例概要文件开始，并在您移动到右边时将它与其它实例概要文件相结合，可以构建一个有效的组合，这样就不会有两个概要文件在垂直方向上重叠。该规则的唯一例外是（4内存，4计算）和（4内存，3计算）配置文件的组合，目前不支持。但是，支持（4内存，3计算）和（4内存，3计算）的组合。有关A100和A30上所有支持的配置文件组合和放置的列表，请参阅支持配置文件部分。

请添加图片描述
       请注意，该图表示GPU实例在GPU上实例化后存在的物理布局。由于GPU实例是在不同的位置创建和销毁的，因此可能会发生碎片，并且一个GPU实例的物理位置将扮演一个角色，在这个角色中，其它GPU实例可以在它旁边实例化。


感谢大家的阅读，这里是从善若水的博客！

在这里插入图片描述

从善若水
关注
专栏目录
NVIDIA GPU MIG多实例&Multi-Instance GPU-中文用户指南.docx
07-31
NVIDIA GPU MIG多实例&Multi-Instance GPU-中文用户指南.docx 本文档的目的是介绍MIG背后的概念、部署考虑因素，并提供MIG管理示例，以展示用户如何在支持MIG的GPU上运行CUDA应用程序。
NVIDIA GPU MIG多实例&Multi-Instance GPU-中文用户指南
qq_27815483的博客
07-31 2142
本文主要的目的是介绍NVIDIA GPU MIG背后的概念、部署考虑因素，并提供MIG管理示例，以展示用户如何在支持MIG的GPU上运行CUDA应用程序。
英伟达NVIDIA服务器显卡多实例技术（MIG）
Chaos的博客
12-06 1万+
多实例技术有点类似于vGPU，如果物理服务器安装的是vmware或者KVM这种虚拟机系统，那么如果想给每个虚拟机分配一张显卡显然显卡不够分，一般6U的服务器也就8张显卡，所以需要用到vGPU技术，将显卡虚拟化成多张显卡，而这玩意跟虚拟机系统一样是需要收费的，按照显卡数量进行授权收费。而如果物理服务器安装的不是虚拟机操作系统，例如安装的是Ubuntu系统，然后采用docker等容器技术，也是需要对显卡进行多实例划分的，提高显卡的利用率。英伟达服务器显卡多实例技术（MIG）
简单介绍 NVIDIA推出的图形处理单元（GPU）架构“安培架构“
sqqwm的专栏
09-05 950
简单介绍 NVIDIA推出的图形处理单元（GPU）架构"安培架构"
【Nvidia】nvidia 高级特性MIG详细介绍（二）
从善若水的博客
04-02 2191
MIG对于CUDA应用程序来说基本上是透明的，因此CUDA的编程模型可以保持不变，以降低编程工作量。CUDA已经公开了多种在GPU上并行运行工作的技术，下面展示了这些技术与MIG的比较。请注意，Streams和MPS是CUDA编程模型的一部分，因此可以在GPU实例中使用。CUDA Streams是一种CUDA编程模型特性，在CUDA应用程序中，不同的工作可以提交到独立的队列，并由GPU独立处理。CUDA Streams只能在单个进程内使用。
【Nvidia】nvidia 高级特性MIG详细介绍（三）
从善若水的博客
04-08 2629
本篇博文我们使用命令创建几个具体的GI。可以使用NVIDIA Management Library （NVML）APIs或其命令行接口nvidia-smi以编程方式管理MIG。请注意，为简洁起见，下面示例中的一些nvidia-smi输出可能会被裁剪，以展示感兴趣的相关部分。有关MIG命令的更多信息，请参阅nvidia-smi手册页或。
MIG-GPU简介与A100-MIG实践详解
JineD的博客
06-27 3668
GPU的切分（虚拟化）需求基本来自于两个方面，一个是普通消费者，二个是计算/服务中心。对于普通消费者（用户），希望使用到新推出的GPU特性，比如某些高性能的CUDA操作，而这些操作只有高版本的硬件SM才具备；同时，很多情况下消费者并不能用满一整张显卡（比如V100或者A100）的所有资源；另外“数据中心”类的GPU产品，价格都比较高（V100、A100都是wRMB为单位）。所以消费者在使用、价格方面有小资源高性能的GPU需求。某购物平台上面的GPU价格。
LSF实践专题（35）：如何使用MIG GPU资源
richycn的博客
02-19 835
例如，一个3个单元的GI，可以划分为3个相同的CI，或者划分为一个2个单元的CI和一个1个单元的CI。如图所示，我们可以在每张A100 GPU上创建一个7个单元的MIG device，也可以同时创建一个4个单元和一个3个单元的MIG device，或者一个4个单元加一个2单元和一个1单元，等等。当作业运行起来以后，我们看到，由于0-3单元上之前的作业已经创建了一个大小为4的GI，所以这个新的GI从单元4开始创建，大小为3个单元，而CI也是从单元4开始，但是只分配2个CI给这个作业。
mig-parted:适用于NVIDIA GPU的MIG分区编辑器
03-17
MIG（Multi-Instance GPU，多实例GPU的缩写）是最新一代NVIDIA Ampere GPU中的一种操作模式。 它允许一个人将一个GPU划分为一组“ MIG设备”，在软件中似乎每个都将它们作为具有固定内存分区和计算资源固定分区的...
MIG用户接口介绍.docx
03-13
MIG用户接口介绍 MIG 用户接口是 Xilinx 官方提供的一个驱动 DDR3 的 IP，用于控制 DDR3 存储器的读写操作。该接口提供了多个信号端口，用于控制 DDR3 存储器的读写操作。 首先，让我们来了解一下 DDR3 存储空间的...
NVIDIA A100 Tensor Core GPU Architecture
07-10
MIG 是 A100 GPU 的一个重要特性，允许多个实例同时在同一个 GPU 上运行，每个实例都可以独立地执行不同的计算任务。MIG 提高了 GPU 的利用率和计算效率，满足了云计算和高性能计算领域的需求。 其他关键特性 A100...
-NVIDIA GRID vGPU中文用户指南(上).docx
07-26
除了基本的GPU虚拟化功能外，NVIDIA vGPU软件还提供了一系列高级功能，如动态负载均衡、自动故障恢复等，这些功能有助于提高虚拟化环境中的整体稳定性和效率。 **1.3.5 支持NVIDIA vGPU软件的NVIDIA GPU云(NGC)容器...
NVIDIA GPU MIG 分区编辑器：简化多实例 GPU 管理
最新发布
gitblog_00023的博客
10-11 645
NVIDIA GPU MIG 分区编辑器：简化多实例 GPU 管理 mig-parted 项目地址: https://gitcode.com/gh_mirrors/mi/mig-parted ...
NVIDIA安培架构下MIG技术分析
天翼云开发者社区
05-26 2123
2020年5月，NVIDIA 发布了最新的 GPU 架构: 安培，以及基于安培架构的最新的 GPU : A100。安培提供了许多新的特性，MIG 是其中一项非常重要的新特性。MIG的全名是 Multi-Instance GPU。 NVIDIA安培架构中的MIG模式可以在A100 GPU上并行运行七个作业。多实例 GPU (MIG) 可提升每个 NVIDIA A100 Tensor 核心 GPU 的性能和价值。MIG 可将 A100 GPU 划分为多达七个实例，每个实例均与各...
Kubernetes配置使用NVIDIA GPU MIG多实例
qq_27815483的博客
08-06 1309
本文档概述了启用 Kubernetes 的 MIG 支持所需的软件。 有关技术概念的更多详细信息，请参阅MIG 用户指南， 设置 MIG 和 NVIDIA 容器工具包，以便使用 MIG 运行容器。 ​
[转载] mig (Multi-Instance GPUs) 多实例GPU 是什么
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
09-21 1622
.
使用CUDA_VISIBLE_DEVICES设置显卡
热门推荐
qq_43307074的博客
11-03 2万+
使用CUDA_VISIBLE_DEVICES设置显卡
查看gpu使用率 nvidia_如何玩转安培架构的 MIG (多实例GPU) 及其应用案例分享
weixin_39626181的博客
12-08 6361
介绍 —什么是 MIG引言：今年5月14日，NVIDIA 发布了最新的 GPU 架构: 安培，以及基于安培架构的最新的 GPU : A100。安培提供了许多新的特性，MIG 是其中一项非常重要的新特性。MIG的全名是 Multi-Instance GPU，它最多可以把 A100 GPU 切成七个 GPU 实例。每一个 GPU 实例都有各自的流处理器 (SMs) 和内存系统。因此，使用M...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

从善若水

原创不易，感谢支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值