出现RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR的一种原因

今天在运行一个pytorch程序时，突然出现这个错误。但是之前运行这个pytorch程序都是正常可以运行的。去网上搜了很多资料，有说numpy版本不对，cudnn和cuda不一致等等的一系列解决方法。

RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR

可以先查看是否是显存不足所导致的

但是显然，之前能跑现在不能跑，问题不出现在版本上。想到我开了很多个后台同时在跑这个程序，因此考虑是否为显存不足。
于是通过

nvidia-smi

查看显存，发现确实如此。

可以看到，两块卡的显存都快满了，不支持我继续运行另一份程序。
对于这种情况，如果是多卡，可以选择空闲的卡进行运行。
如果单卡满了，考虑调整batch size等参数使显存大小符合要求。
如果满足显存但仍然出现这个报错，请参考其他处理方法。