管理员解决深度学习服务器GPU内存占用问题

问题

解决方法

利用Linux自带的管道命令
nvidia-smi | grep python
获取到GPU中的进程号

然后通过
ps -lA | grep pid
找到进程的状态

若为S（sleep），并且超过容忍时间，则kill掉

测试python执行centos7系统命令的情况

import os

gpu_status = os.popen("nvidia-smi | grep python").readlines()
gpu_status

['|    0     27523      C   python                                       399MiB |\n',
 '|    0     31299      C   python                                     10371MiB |\n']

for status in gpu_status:
    id = status.split()[2]
    processes = os.popen("ps -lA | grep {}".format(id)).readlines()
    print("ps lA->",processes)
    for p in processes: