问题来源
用GPU训练模型,由于操作习惯问题。终直接在终端用ctrl+z终止训练,此时GPU资源可能未立即释放,
下次继续使用时有可能会报例如CUDA_ERROR_OUT_OF_MEMORY这种错误,就是提示显存不够。这时候需要人工来杀死占用GPU显存的进程。
解放方法
1 查看GPU进程及PID
fuser -v /dev/nvidia*
2 找到仍然在占用GPU的进程PID
kill -9 pid # 表示强迫进程立即停止
kill pid # 也可以终止进程
用GPU训练模型,由于操作习惯问题。终直接在终端用ctrl+z终止训练,此时GPU资源可能未立即释放,
下次继续使用时有可能会报例如CUDA_ERROR_OUT_OF_MEMORY这种错误,就是提示显存不够。这时候需要人工来杀死占用GPU显存的进程。
1 查看GPU进程及PID
fuser -v /dev/nvidia*
2 找到仍然在占用GPU的进程PID
kill -9 pid # 表示强迫进程立即停止
kill pid # 也可以终止进程