【服务器使用】Linux系统下使用kill命令杀死进程后仍占用GPU显存

问题描述

  在服务器上跑深度学习模型时，使用kill命令杀死进程后，使用nvidia-smi命令发现Processes是消失了，但显存仍有一部分被占用。

解决方法

  本来以为可能是有僵尸进程，后来分析应该是有子进程的内存没有释放掉？具体操作：

# 先使用如下命令查看到top或者ps中看不到的进程
fuser -v /dev/nvidia*
# 再使用kill -9 + 进程的pid 杀掉该进程
kill -9 pid

参考

1. https://blog.csdn.net/weixin_46087812/article/details/123859352
2. https://blog.csdn.net/weixin_39543655/article/details/116581900