RuntimError: CUDA error:all CUDA-capable devices are busy or unavailable问题解决

运行程序遇到这个问题，尝试解决，首先看一下当前的gpu占用情况，使用nvidia-smi指令进行查看。

发现，这些卡都挺空的，没有被占完。 仔细检查可以发现，右边显示的内容不对，正常应该是Default Diasbled ，这里却是 E.process 。

通过搜索，发现是显卡被设置为独占模式。所以才会出现最开始的问题。之后就比较简单了，将其改为默认即可。

nvidia-smi -c 0

-c, --compute-mode=MODE
       Set the compute mode for the target GPUs.  See the (GPU ATTRIBUTES) section for a description of compute mode.  Requires root.  Will impact all GPUs unless a single GPU is specified using the -i argument.  The effect of this operation  is  immediate.   However,  it does not persist across reboots.  After each reboot compute mode will reset to "DEFAULT".
 

更多指令可以使用 man nvidia-smi 查看。