tensorflow 训练时出现failed to allocate 18.41M (19300352 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY
我在ubuntu16.04中安装的是tensorflow-gpu1.6.0版本的,在使用jupyter notebook训练时出现了failed to allocate 18.41M (19300352 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY
的错误信息,通过网上大量寻找资料后发现我的GPU一部分资源被我之前的程序占用了,导致我的可用资源只有18.41M,天呐,18.41M还玩个毛线训练呀,赶紧关掉之前的占用,释放空间。
一般我们使用nvidia-smi
来查看GPU的使用情况,然后使用sudo kill 'ID'
来关掉占用GPU的进程,如果这样操作之后还是出现CUDA_ERROR_OUT_OF_MEMORY
就可以使用下面的命令
sudo fuser -v /dev/nvidia* #查找占用GPU资源的PID
sudo kill -9 ***(PID) # 根据相应的PID解除显存占用