还怕GPU资源不够用？多实例GPU MIG助攻资源利用难题-CSDN博客

2020 年 5 月 14 日，NVIDIA 发布了最新的 GPU 架构 -- 安培。全新的安培架构提供了一系列新性能，而其中最值得一提的无疑是 MIG（多实例 GPU）。

MIG 打破了 GPU 虚拟化中资源分配的瓶颈，能够将基于安培架构的 GPU 服务器 A100 切分成 7 个 GPU 实例，并且可以使每一个 GPU 实例都能够拥有各自的 SMs 和内存系统，让每个实例之间的内存空间访问互不干扰，保障每一个使用者的工作时延和吞吐量都是可预期的。

一个 NVIDIA A100 GPU 能够划分成不同大小的 GPU 实例，例如可以创建两个各有 20 千兆字节 (GB) 内存的实例、三个各有 10 GB 内存的实例、七个各有 5 GB 内存的实例或者其他多个组合。

管理员可以根据不同类型的工作负载，动态地配置 GPU 实例，灵活地分配 GPU 资源，从而实现资源利用最大化。

在实际的使用中，一个 GPU 实例还可以再切分成多个计算实例。同一个 GPU 实例中的计算实例是共享内存的，但每个计算实例还拥有独立的流处理器，因此如果使用者有多项互相关联的工作，并且使用共享内存较为便利的话，可以选择在一个 GPU 实例当中使用多个计算实例来处理。通过这样的设计，使用者能够更加灵活地调度 GPU 的资源。

除了在 GPU 资源调度和利用方面的提升，多实例 GPU 还为分布式计算提供着强有力的支持。虚拟化的访问模型能够为分布式计算的软件栈提供一个干净的接口，将 GPU 底层的实现细节封入“黑箱”，让开发者能够利用虚拟化概念轻松构建多用户使用模型和界面，全面赋能高效计算。

这样的 MIG，你心动了吗？

想玩转 MIG，你一定不能错过这场公开课！

7 月 21 日晚 20:00，NVIDIA 将联合 InfoQ 举办线上公开课，全方位解读和 MIG 有关的那些事。届时，NVIDIA GPU 计算专家薛博阳，将为大家倾情讲解「如何玩转安培架构的 MIG (多实例 GPU) 及其应用案例分享」，助力广大开发者破解云时代 GPU 资源利用难题，加高计算竞争壁垒。