查看哪个docker环境在占用gpu

前言

有时候发现某些docker占用gpu资源却没有训练,需要查清楚是哪个并且把它stop掉。

方法

在docker里面用nvidia-smi命令,没有pid显示,需要在外面使用。得到pid信息后,使用命令

docker top 15766f6eeaf7(容器ID)  | grep 55123(PID)

如果有返回说明就是这个容器,把它stop掉即可。

修改权限

将当前文件夹及其子文件的所

要实现在Ubuntu 20.04中监控多个Docker容器中的GPU信息,我们需要使用以下Docker组件: 1. NVIDIA Docker 2. Prometheus Node Exporter 3. Prometheus 4. Grafana 步骤如下: 1. 安装NVIDIA Docker NVIDIA Docker是一个Docker运行时,它允许容器访问主机上的GPU。要安装NVIDIA Docker,请按照官方指南进行操作。 2. 安装Prometheus Node Exporter Prometheus Node Exporter是一个开源工具,它可以在主机上运行并公开各种系统级指标。我们可以使用Prometheus Node Exporter来公开主机上的GPU指标。要安装Prometheus Node Exporter,请按照官方指南进行操作。 3. 配置Prometheus Prometheus是一个开源的监控系统,它可以收集和存储各种指标。我们需要配置Prometheus以收集主机上的GPU指标。要配置Prometheus,请按照官方指南进行操作。 在Prometheus的配置文件中,我们需要添加以下内容: ``` - job_name: 'node_exporter' scrape_interval: 5s static_configs: - targets: ['localhost:9100'] - job_name: 'nvidia_smi' scrape_interval: 5s static_configs: - targets: ['localhost:9445'] ``` 其中,`localhost:9100`是Prometheus Node Exporter的地址,`localhost:9445`是NVIDIA Docker插件的地址。 4. 配置Grafana Grafana是一个开源的可视化工具,它可以将各种指标可视化。我们需要配置Grafana以显示GPU指标。要配置Grafana,请按照官方指南进行操作。 在Grafana中,我们需要创建一个新的Dashboard并添加一个新的Panel。在Panel中,我们需要使用以下PromQL查询来显示GPU占用率: ``` nvidia_gpu_utilization{instance=~"$node:9445"} ``` 其中,`$node`是Prometheus的节点名称。 这样,我们就可以在Grafana中展示容器中的GPU占用率了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值