【已解决】RuntimeError: CUDA error: out of memoryCUDA kernel errors | 选择指定服务器跑模型

当出现报错

RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

使用

nvidia-smi

 查看当前服务器占用情况

上图中3号服务器还有剩余位置，因此使用以下方法即可运行

CUDA_VISIBLE_DEVICES=3   nohup  python train.py &

注意：是 CUDA_VISIBLE_DEVICES=3 + 你的代码

如果遇到第三列都很满的情况，则看第二列

上图中GPU2的占用情况为88%，但是memory-usage是8893/32510，所以可以试试能不能用。一般情况是可以的，但是会比较慢，因为有别人在跑