程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法

【时间】2018.12.13

【题目】程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法

当使用GPU跑程序时，程序退出后依旧占用GPU和内存资源，进程依旧存在时，可以用下面的方法强制kill掉进程：

（1）请先查看占用资源的进程归属方是谁，以及运行的是什么指令：

•    ps -f PID号

（2）然后确认该进程可以kill掉情况下直接杀掉：

•     kill -9 PID号   #注意必须加-9，否则可能杀不掉进程

【注意】：这种情况往往出现在程序不正常退出或者使用GPU资源时设置了占用的GPU比例如：config.gpu_options.per_process_gpu_memory_fraction = 0.85  #占用85%显存，这时GPU资源一直占用着，你再跑代码的话可能会提示内存不足，或者报错：

E tensorflow/stream_executor/cuda/cuda_dnn.cc:353] Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR