今天在运行一个pytorch程序时,突然出现这个错误。但是之前运行这个pytorch程序都是正常可以运行的。去网上搜了很多资料,有说numpy版本不对,cudnn和cuda不一致等等的一系列解决方法。
RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
可以先查看是否是显存不足所导致的
但是显然,之前能跑现在不能跑,问题不出现在版本上。想到我开了很多个后台同时在跑这个程序,因此考虑是否为显存不足。
于是通过
nvidia-smi
查看显存,发现确实如此。
可以看到,两块卡的显存都快满了,不支持我继续运行另一份程序。
对于这种情况,如果是多卡,可以选择空闲的卡进行运行。
如果单卡满了,考虑调整batch size等参数使显存大小符合要求。
如果满足显存但仍然出现这个报错,请参考其他处理方法。