报错如下
解决:
参考https://zhuanlan.zhihu.com/p/31772360
这个问题是tensorflow运行时霸占了所有GPU显存了,这样会导致需要GPU显存时不足所致,为了避免在训练过程中出现该问题,我们需要修改tensorflow session的配置,让其根据需要时增长使用GPU显存,在train.py接口train_net按照如下修改:
with tf.Session(config=tf.ConfigProto(allow_soft_placement=True)) as sess:
改为
config = tf.ConfigProto(allow_soft_placement=True)
config.gpu_options.allow_growth = True
with tf.Session(config=config) as sess: