tensorflow 训练时内存溢出问题

我最近在尝试写FCN时,用了两层5*5的卷积和两层5*5的反卷积,训练数据是2000张图片,每次循环输入一张图片,输出一个数字表示本次循环结束,发现程序越跑越慢,原因是内存持续增大了。网上搜了一下发现,没几个是对的,于是只能自己填坑(有个sess.graph.finalize()的,没用)。

于是debug,发现每次循环输入图片后,每张图片前向传播产生的中间map都会保存下来,不会被清理掉(就是说每张图片输入网络后,产生的pool2,relu2等等都会留下),所以,可能是输入网络的方式有问题,考虑使用占位符。

1.原来的代码(for循环内)

input_img= matplotlib.image.imread(img)
input_img=np.reshape(input_img, (1, 256, 256, 3))
input_img=tf.image.convert_image_dtype(input_img, tf.float32)
input_img=sess.run(input1,feed_dict={input1:input_img})
output2= FCN_test.inference(input_img, 0, regularizer)
       这样直接输入网络是不行的

2.修改后的代码

   for 循环外

   

input = tf.placeholder(tf.float32, [1, 256, 256, 3], name='gg')
input1 = tf.image.convert_image_dtype(input, tf.float32)
output2= FCN_test.inference(input1, 0, regularizer)
tensor_ground = tf.placeholder(tf.float32, [65536], name='gg2')
for 循环内
    
        input_img= matplotlib.image.imread(img)
        input_img=np.reshape(input_img, (1, 256, 256, 3))

        out=sess.run(output2,feed_dict={input:input_img})
个人理解,这样通过sess使用占位符,每次输入新的图片后占用的是同样的空间,因此内存不会增加。


  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 对于显存溢出,有以下几种解决方法: 1. 减少batch size,以减少占用的显存。 2. 减少模型结构,以降低占用的显存。 3. 尝试使用混合精度训练(Mixed Precision Training)来减少占用的显存。 4. 使用分布式训练(Distributed Training)来将训练数据分散到多个GPU或计算机上。 5. 提高显存容量,如购买更大的显卡或使用云计算资源。 以上方法应根据具体情况选择使用。 ### 回答2: 在模型训练过程中,显存溢出是常见的问题之一。下面是一些避免显存溢出的方法: 1.调整batch size:降低batch size可以减少模型在训练所需的显存。通过逐步减小batch size,直到不再溢出为止,但需要注意,较小的batch size可能会降低模型的训练效果。 2.使用更小的模型:选择更小的模型结构可以减少显存占用量。可以通过剪枝、减少参数数量或者使用轻量级模型来实现。 3.减少数据维度:将输入数据的维度降低,可以减少模型所需的显存。可以通过降维技术如主成分分析(PCA)、特征选择等来实现。 4.使用分布式训练:将模型训练分发到多个设备或服务器上,可以将显存需求分散,从而减少单个设备的显存压力。 5.优化模型架构:对于存在大量重复计算的模型,可以考虑使用一些优化技术,如缓存计算结果、计算图的优化等,以减少显存占用。 6.使用低精度数据类型:使用低精度的浮点数(如FP16)来表示模型参数和计算中间结果,可以减少显存的使用量。但需要注意,降低精度可能会对模型的训练效果产生一定的影响。 7.释放不需要的显存:在训练过程中,使用显存管理工具释放不再需要的显存资源,如显存清理、缓存清理等。 总之,避免显存溢出的方法有很多,具体的选择取决于模型的特点和训练要求。通过调整参数、数据和模型结构,可以找到合适的策略来解决显存溢出问题。 ### 回答3: 当模型训练出现显存溢出问题,可以采取以下方法解决: 1. 减少模型的大小:通过减少模型中的参数数量、层数或通道数等方式来降低模型的大小,以减少显存占用。可以尝试使用更轻量级的模型架构,或使用剪枝技术来精简模型。 2. 减少输入数据的大小:可以尝试减小输入图像的尺寸、降低数据的维度或选择部分数据进行训练,以减少对显存的需求。但需要注意,减小输入数据大小可能会降低模型的性能。 3. 减少批处理大小:减少每次迭代中用于计算梯度的样本数量,以降低显存需求。然而,较小的批处理大小可能会导致训练过程不稳定,因此需要根据具体情况进行调整。 4. 使用混合精度训练:使用半精度浮点数(FP16)代替标准精度浮点数(FP32)来进行模型训练。半精度浮点数可以减少模型的显存占用,但需要注意梯度可能会受到舍入误差的影响,可能对训练结果造成一定影响。 5. 分布式训练:将模型训练分布在多个GPU或计算节点上,以减少单个设备上的显存占用。这需要使用分布式训练框架,如TensorFlow的分布式策略。 6. 购买更大容量的显卡:如果条件允许,可以考虑购买显存更大的显卡或使用多块显卡并行训练,以提供更多的显存空间。 7. 优化模型和训练流程:对模型和训练流程进行优化,减少不必要的内存消耗。可以考虑使用更高效的实现方式、减少不必要的计算或内存拷贝等。 在实际应用中,可以根据显存溢出的具体错误信息、硬件设备和训练需求等情况选择适合的方法进行解决。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值