今天装机时遇到一个问题,即NVIDIA的Tesla K80型号GPU在安装完驱动后,nvidia-smi的GPU-Util一直有一块处于80%以上,但此时并没有工作负载。
后来发现解决方法是在root或sudo下执行下面的命令:
nvidia-smi -pm 1
该命令的意义是将驱动加载的默认模式改成“持久保存”,这样就可以避免驱动的反复卸载与加载。这也是引起使用率异常的原因。但并不是所有GPU都会出现这个问题,现在我只在K80上实测发现了问题,另外还有另一个博主在Tesla M40上遇到了这个问题(参考链接)。怀疑是历史遗留问题。
总之,把pm改成1后,该问题解决。重启后可以看下利用率是否正常,如果不是的话,需要设置成每次重启都执行一下上面这个命令。
使用后GPU-Util恢复正常: