还怕GPU资源不够用?多实例GPU MIG助攻资源利用难题

2020 年 5 月 14 日,NVIDIA 发布了最新的 GPU 架构 -- 安培。全新的安培架构提供了一系列新性能,而其中最值得一提的无疑是 MIG(多实例 GPU)。

MIG 打破了 GPU 虚拟化中资源分配的瓶颈,能够将基于安培架构的 GPU 服务器 A100 切分成 7 个 GPU 实例,并且可以使每一个 GPU 实例都能够拥有各自的 SMs 和内存系统,让每个实例之间的内存空间访问互不干扰,保障每一个使用者的工作时延和吞吐量都是可预期的。

一个 NVIDIA A100 GPU 能够划分成不同大小的 GPU 实例,例如可以创建两个各有 20 千兆字节 (GB) 内存的实例、三个各有 10 GB 内存的实例、七个各有 5 GB 内存的实例或者其他多个组合。

管理员可以根据不同类型的工作负载,动态地配置 GPU 实例,灵活地分配 GPU 资源,从而实现资源利用最大化。

在实际的使用中,一个 GPU 实例还可以再切分成多个计算实例。同一个 GPU 实例中的计算实例是共享内存的,但每个计算实例还拥有独立的流处理器,因此如果使用者有多项互相关联的工作,并且使用共享内存较为便利的话,可以选择在一个 GPU 实例当中使用多个计算实例来处理。通过这样的设计,使用者能够更加灵活地调度 GPU 的资源。

除了在 GPU 资源调度和利用方面的提升,多实例 GPU 还为分布式计算提供着强有力的支持。虚拟化的访问模型能够为分布式计算的软件栈提供一个干净的接口,将 GPU 底层的实现细节封入“黑箱”,让开发者能够利用虚拟化概念轻松构建多用户使用模型和界面,全面赋能高效计算。

这样的 MIG,你心动了吗?

想玩转 MIG,你一定不能错过这场公开课!

7 月 21 日晚 20:00,NVIDIA 将联合 InfoQ 举办线上公开课,全方位解读和 MIG 有关的那些事。届时,NVIDIA GPU 计算专家薛博阳,将为大家倾情讲解「如何玩转安培架构的 MIG (多实例 GPU) 及其应用案例分享」,助力广大开发者破解云时代 GPU 资源利用难题,加高计算竞争壁垒。

薛博阳, NVIDIA GPU 计算专家,

FasterTransformer 2.0 开发者之一

通过这次在线培训,你将收获以下内容:

  • MIG 如何运作;

  • 为什么我们需要 MIG;

  • 如何使用 MIG;

  • 案例分析: 在 MIG 上使用 FasterTransformer。

还在等待什么,扫描下方二维码或点击阅读原文,获取直播链接!

扫 / 码 / 报 / 名

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看,让更多人看到  

©️2020 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值