linux显卡被占用但是找不到对应pid问题

问题

在运行任务时，报错显卡memory不够，但是用nvidia-smi发现该卡并没有对应的pid，但是memory却使用了很多

猜想应该是上个任务没被完全杀死，因为几分钟前自己把卡1上的任务停掉的，那就是之前的任务还占用着memory

解决

使用

fuser -v /dev/nvidia*

可以查看卡1上的进程id

发现确实是还有很多进程
使用

ps -aux |grep -v gre|grep 53300

查看进程对应的命令，发现确实是上个任务

然后用kill杀死上面这些id就可以

kill -9 53300 53304 ...

卡1下所有id被kill之后，memory就没有被占用了

参考

nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多 https://blog.csdn.net/m0_38007695/article/details/88954699
Linux中怎么通过PID号找到对应的进程名及所在目录 https://www.cnblogs.com/jie-fang/p/7686521.html

完

--------------------------------------------------------------------------------------------诺有缸的高飞鸟202109