省流:
sudo fuser -v /dev/nvidia* |awk ‘{for(i=1;i<=NF;i++)print "kill -9 " $i;}’ | sudo sh
事情是这样的,明明模型就不大,但是一直报错cuda out of memory.
输入nvidia-smi查看GPU利用率发现,整体GPU占用了9000M/10000M,但下面运行的进程却不到2000M。
实在查不到哪些僵尸进程占用GPU的话,直接用这个命令:
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh
把所有占用GPU的进程都清理掉就行了