服务器运行程序时频繁遭遇GPU丢失问题，报错提示'Unable to determine the device handle for GPU. GPU is lost.'。经过自查，可能原因包括驱动问题、GPU过热、风扇散热及电源供电不足等。在排除代码问题后，发现更新驱动无效，但单块GPU运行时无错误，且`nvidia-smi`显示风扇转速低。最终确定为散热问题，风扇损坏，已安排维修。
最近服务器跑程序的时候经常出现GPU lost的情况，报错信息如下：
Unable to determine the device handle for GPU. GPU is lost. Reboot the system to recover this GPU.
自查排除首先排除程序代码原因，然后根据网上给出的各种原因一一检查，可参考：https://sdsy888.blog.csdn.net/article/details/103884592
可能原因总结如下：
- 驱动问题
不过如果你重启后GPU恢复的话，基本可以排除这个原因，我更新了驱动，但是还是没有解决。 - GPU过热，风扇，机箱散热问题
基本可以确定我的情况属于这个问题，首先我使用小数据集同时跑2块GPU时不会出现错误，但换大数据集同时跑2块GPU就会报错（温度会高些）；而用大数据集在单块GPU上跑也不会报错，还能抗得住。。
而且navidia-smi监控信息显示风扇转速有点低，甚至有块没有，看了机子风扇都有在转，不过确实没有其他服务器转的厉害。
目前单块在跑没有断过。 - 电源供电不足导致
服务器机子最好一个插座上只供应这个机子，不要接其他大功率电器 - cuda，anaconda和框架
全部重新安装下
更新：找人修了机子，确定是散热问题，风扇坏掉了/(ㄒoㄒ)/~~
最低0.47元/天 解锁文章
扫一扫
1043
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
