Nvidia-smi没有进程但是显存不释放

PyTorch多卡训练模型，经常出现显存爆满，而训练程序未启动：

使用命令发现僵尸进程：

fuser -v /dev/nvidia*

接着用 kill -9 pid 杀死僵尸进程，当僵尸进程比较多时，上述命令重复输入显得非常繁琐，使用一行命令杀死所有占用gpu的进程：

fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sh