如何在实验室混下去之：安全关闭显卡幽灵进程

最近遇到了一个烦心事，我后台跑了一个搜索超参数的文件（占用大内存和大显存），但是发现程序有误，企图断掉，使用kill -9 + 进程号之后terminal告诉我已杀死，但是在显存上仍然占用。如图：

总不能一直跑下去吧，如果被错认为占卡，容易被实验室的人打死。神奇的是，jobs命令、htop命令、ps aux|grep命令都找不到进程。由于喜欢高亮显示，并且想看到每个进程都是谁在跑，所以我查看显存一直使用gpustat命令（上面这张图），很少使用watch -n 1 nvidia-smi命令。于是我尝试着使用nvidia-smi，果然是一个不同的进程号，如图：

然后运行kill -9 80465 即可。

p.s.我不知道为什么这个进程通过htop命令、ps aux|grep命令都找不到，如果你恰巧看到这篇博文并且愿意回答的话，请评论让更多人看见。