你真得了解多个docker容器如何共享GPU么?

引言

最近容器比较火,容器支持对CPU和内存的资源限制,但是GPU还不是很明朗,多个容器能不能共享一个GPU呢?如果共享的话,是并行的方式还是并发的方式呢?又如何确保GPU的资源能够被高效利用呢?本文,通过查阅大量官方文档,并通过实验验证,想一探究竟~

问题描述

GPU是深度学习的利器,相比于CPU,并行化的执行方式能够实现更高的时间效率。同时,它的价格也比较昂贵,此次想要做实验的NVIDIA TESLA V100(32G)在京东标价就高达7万人民币,楼主没钱买智能在普通的GPU上做做实验。当一个学校或者一个公司配备了一个土豪级GPU,如果想要让所有人都能使用,同时考虑到系统安全问题,可以让每个用户的编程环境被约束在一个docker容器(container)中。目前,可以实现CPU和内存的虚拟化(即限制用户可用的CPU配额和内存空间)[1],甚至可以实时地调整配额[2],但GPU在容器中虚拟化的文章还是很少。

考虑这样一个问题,当多个用户同时在同一个GPU上提交作业时,GPU资源如何进行分配,现有的技术能否满足用户需求?

  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
要监控宿主机中多个 Docker 容器中的 GPU 信息,可以使用 NVIDIA 官方提供的 GPU 监控 exporter `nvidia_gpu_prometheus_exporter`。这个 exporter 可以把宿主机中所有 GPU 的使用情况统计起来,然后暴露给 Prometheus 进行监控。 具体使用方法如下: 1. 安装 `nvidia_gpu_prometheus_exporter` ```bash docker run -d --name=nvidia_gpu_prometheus_exporter \ --pid=host \ --runtime=nvidia \ -p 9101:9101 \ nvcr.io/nvidia/k8s/dcgm-exporter:2.0.13-2.2.0-rc.3-ubuntu18.04 ``` 运行上述命令会下载 `nvidia_gpu_prometheus_exporter` 镜像,并以 daemon 模式运行一个容器。 2. 配置 Prometheus 在 Prometheus 的配置文件 `prometheus.yml` 中添加以下内容: ```yaml scrape_configs: - job_name: 'nvidia_gpu_exporter' scrape_interval: 5s static_configs: - targets: ['<nvidia_gpu_prometheus_exporter_host>:9101'] ``` 其中 `<nvidia_gpu_prometheus_exporter_host>` 是 `nvidia_gpu_prometheus_exporter` 容器所在的宿主机的 IP 地址。 3. 重启 Prometheus 在修改了 `prometheus.yml` 配置文件后,需要重启 Prometheus 才能生效。 4. 访问 Grafana 访问 Grafana 并配置一个 Dashboard,就可以实时监控 GPU 使用情况了。在添加图表时,可以选择 `nvidia_gpu_duty_cycle`、`nvidia_gpu_memory_free`、`nvidia_gpu_memory_total` 等指标。 需要注意的是,`nvidia_gpu_prometheus_exporter` 只能监控到正在运行的容器中的 GPU 使用情况,如果容器已经停止运行,那么它占用的 GPU 资源也不会被统计。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值