OOM ResourceExhaustedError

错误：OOM ResourceExhaustedError

本文记录ResourceExhaustedError出错过程，提出解决方案。

1.问题描述
在学习keras时，运行从GitHub上down下来的官方自带的demo，结果出现OOM ResourceExhaustedError错误。
2.尝试解决
（1）在终端命令行用“nvidia-smi”查看GPU使用情况，如下图：

（2）用“fuser -v /dev/nvidia*” 查找占用GPU 资源的PID，如下图：

（3）分析:GPU Memory-Usage几乎被用完了，想kill掉某个进程，但苦于不太清楚进程，没敢kill。
（4）查资料分析：
A.整个显卡是不是有别的模型在跑？
B.模型逻辑出错？（没错可能也会gg）
C.对于TensorFlow，可以设置CUDA_VISIBLE_DEVICES=1(, 2 …)，数字代表显卡序号。如若感觉显卡不够或者希望程序跑快一点，可以多设置几块显卡。CUDA_VISIBLE_DEVICES该命令是用来确定CUDA允许TensorFlow发现的显卡。若不设置，TensorFlow默认利用所有可以利用的资源。
3.结论
运行demo之前有个模型在跑着，那根据资料来看，应该错在此。本来想着可以搞快点，结果gg，不过也算学习了。
4.参考文献
（1）ResourceExhaustedError解决方法
https://blog.csdn.net/lics999/article/details/78517638
（2）关于错误：OOM ResourceExhaustedError 的完美解决方法
https://blog.csdn.net/skj1995/article/details/82828753
（3）ResourceExhaustedError :OOM when allocating tensor with shape
https://www.jianshu.com/p/c0e42d863fc9