【时间】2018.12.13
【题目】程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法
当使用GPU跑程序时,程序退出后依旧占用GPU和内存资源,进程依旧存在时,可以用下面的方法强制kill掉进程:
(1)请先查看占用资源的进程归属方是谁,以及运行的是什么指令:
- ps -f PID号
(2)然后确认该进程可以kill掉情况下直接杀掉:
- kill -9 PID号 #注意必须加-9,否则可能杀不掉进程
【注意】:这种情况往往出现在程序不正常退出或者使用GPU资源时设置了占用的GPU比例如:config.gpu_options.per_process_gpu_memory_fraction = 0.85 #占用85%显存,这时GPU资源一直占用着,你再跑代码的话可能会提示内存不足,或者报错:
E tensorflow/stream_executor/cuda/cuda_dnn.cc:353] Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR