空闲状态下 nvidia-smi的GPU使用率异常

今天装机时遇到一个问题,即NVIDIA的Tesla K80型号GPU在安装完驱动后,nvidia-smi的GPU-Util一直有一块处于80%以上,但此时并没有工作负载。

后来发现解决方法是在root或sudo下执行下面的命令:

nvidia-smi -pm 1

该命令的意义是将驱动加载的默认模式改成“持久保存”,这样就可以避免驱动的反复卸载与加载。这也是引起使用率异常的原因。但并不是所有GPU都会出现这个问题,现在我只在K80上实测发现了问题,另外还有另一个博主在Tesla M40上遇到了这个问题(参考链接)。怀疑是历史遗留问题。

 

总之,把pm改成1后,该问题解决。重启后可以看下利用率是否正常,如果不是的话,需要设置成每次重启都执行一下上面这个命令。

 

使用后GPU-Util恢复正常:

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值