坑
1. tf/kears 在运行时,会默认占用当前服务器上的所有GPU!!!
2. tf/kears 在运行时,会默认占用所使用GPU的全部显存!!!
解决办法
1. 指定所用的服务器。
首先使用nvidia-smi
查看当前服务器中的GPU使用情况,然后找一块可用显存多的GPU使用。是根据该命令显示的第一列的GPU的编号指定GPU的.
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
2. 限制tf/keras使用的显存
有两种限制使用显存的方式。
- 第一种是定量设置显存,给它一个0-1的比例,强制规定它使用多少。
from keras import backend as K
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
session = tf.Session(config=config)
- 第二种是按需分配,让tf更具体的按需要来分配。
from keras import backend as K
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)
说明
一般都是同时使用两种解决方案。其中一个要注意的点是,解决1的代码要写在解决2的代码前面。如下:
from keras import backend as K
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)