TF训练内存异常

最新推荐文章于 2022-11-10 15:34:43 发布
最新推荐文章于 2022-11-10 15:34:43 发布
阅读量383 收藏
点赞数
分类专栏： tensorflow踩坑日记 文章标签： 人工智能 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41919659/article/details/127692706
版权

在使用tf.kares进行网络训练时，每次结束一个epoch，内存占用都会增加

第一个eopch占用为16G

第n个epoch占用为29G

训练存在内存泄漏

 猜想问题有两个：

1.每次开始一个新的epoch时，重复读取数据

2.每次开始一个新的epoch时，网络模型占用内存没有释放

（keras训练是真的拉）

实际上是因为tf版本不对，在将tf2.1升级为tf2.2后完美解决

ttzss
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
tensorflow在训练过程中出现内存溢出的问题
qq_27009517的博客
11-11 2368
最近在使用perceptual_loss过程中，出现了模型随着训练占用的内存越来越大的问题，千万不要在遍历数据的过程中使用tf的相关操作，必要的操作放到模型中，如果在模型外执行，会不断增加新的节点，导致网络占用的内存随着训练的进行越来越大 tf2预训练好的模型加载放在__init__中，返回函数名。 reference： https://blog.csdn.net/qq_37876289/article/details/106157359 ...
tf训练模型
12-21
基于tensorflow框架训练出来的模型，可以用来进行图像识别
使用mindspore低阶API训练每过一个epoch内存占用都会上升
weixin_45666880的博客
06-23 405
问题描述：如题，我用低阶API训练的，TrainOneStepCell，用for循环进行每一个epoch的计算，每一个epoch内存都会上升，最后就OOM了。 每个epoch的开头都会用create_iterator_dict函数创建数据集的迭代器，我猜测可能是这个地方导致的内存上升，因为每次都是运行到这里就显示rowsize is larger than allocated memory max_rowsize。不知道原因和解决办法。 或者，有大佬知道互学习怎么封装到高阶API中使用吗，就是两个网络同时训
tf.train.import_meta_graph TensorFlow内存溢出问题
vzfearless
04-03 1578
TensorFlow运行程序的时候发现内存占用非常恐怖，运行没多久内存一下子就达到了99%，经过查资料发现使用sess.graph.finalize() 方法可以锁住图，让其变为只读，运行过程中一旦新增节点就会报错。 先看看原来的有问题的代码 def restore_test_model(data): sess = tf.Session() sess.graph.finalize(...
tf 加速训练，节省内存 fit_generator
WGS.
11-15 998
如果我们直接用keras的fit函数来训练模型的话，是需要传入全部训练数据，但是好在提供了fit_generator，可以分批次的读取数据，节省了我们的内存，我们唯一要做的就是实现一个生成器（generator）。 直接给出关键代码，数据处理和组网部分略过 处理后的数据格式如下： 第一个列表是特征，[39, 500000] 第二个列表是label fit_generator batch_size = 2048 model.fit_generator( GeneratorRandomPatc
pytorch训练过程显存一直增加的问题
weixin_45710187的博客
01-13 8863
之前遇到了爆显存的问题，卡了很久，试了很多方法，总算解决了。 总结下自己试过的几种方法： **1. 使用torch.cuda.empty_cache() 在每一个训练epoch后都添加这一行代码，可以让训练从较低显存的地方开始，但并不适用爆显存的问题，随着epoch的增加，最大显存占用仍然会提示out of memory 。 2.使用torch.backends.cudnn.enabled = True 和 torch.backends.cudnn.benchmark = True 原理不太清楚，用法和1
解决tensorflow训练时内存持续增加并占满的问题
09-18
在使用TensorFlow进行深度学习训练时，可能会遇到内存持续增加并最终占满的问题。这个问题通常是由于不正确的代码组织和计算图管理导致的。本文将详细解释这个问题的原因，并提供解决方案。 首先，我们需要理解...
TF内存卡介绍
02-26
TF内存卡介绍 针对TF内存卡(SDHC)的传输规范:　 传输速度(写入速度及读取速度)被定义为[Class2(2MB/sec)、Class4(4MB/sec)、Class6(6MB/sec)、Class8(8MB/sec)、Class10(10MB/sec)](最高速度)　
解决TensorFlow训练内存不断增长,进程被杀死问题
09-18
在使用TensorFlow进行深度学习训练时，可能会遇到一个棘手的问题，即训练过程中内存不断增长，最终导致系统杀死进程。这种情况通常与TensorFlow的工作机制有关，特别是如何构建和执行计算图。本文将深入探讨这个问题...
基于Keras 循环训练模型跑数据时内存泄漏的解决方式
09-16
然而，在进行循环训练模型时，可能会遇到内存泄漏的问题，这可能导致训练过程变得极其缓慢，甚至无法继续。本文将详细讨论这个问题以及如何解决。 内存泄漏通常发生在模型训练过程中，由于未正确释放内存资源，导致...
python训练模型一直循环怎么办_基于Keras 循环训练模型跑数据时内存泄漏的解决方式...
weixin_39859052的博客
12-06 376
在使用完模型之后，添加这两行代码即可清空之前model占用的内存：import tensorflow as tffrom keras import backend as kk.clear_session()tf.reset_default_graph()补充知识：keras 多个模型测试阶段速度越来越慢问题的解决方法问题描述在实际应用或比赛中，经常会用到交叉验证(10倍或5倍)来提高泛化能力，这样...
tensorflow2 调用循环内存逐渐占满
m0_46345373的博客
11-10 843
在meshwalker上进行梯度迭代的攻击，需要循环计算loss 对 输入的梯度，但是每次循环都会使内存（不是显存）占用增加，最终内存被填满，程序被杀死。原因： tensorflow中每个操作（加减乘除）都会被添加为计算节点，每次循环都会增加新的计算节点，导致内存增加。每进行一次 step 循环内存占用都会增加一点。
Keras：GPU利用率不高， 循环调用模型的时候内存溢出
Julse的博客
11-22 3281
问题：GPU利用率低下， 307MiB / 32510MiB 尝试解决 增加batch_size 也没有效果，超过某个数就内存溢出了==》 说明非batch_size 过小导致这个问题 如果在一块卡上再启动一个进程来训练模型，只能再叠加一个305Mib，并且程序在运行中可能出现内存溢出 问题 五折交叉验证的时候，第一折跑完了，跑第二折的时候，内存溢出，是因为前面训练时占用的内存没有释放掉。可能是由于代码首部指定的使用GPU的方式引起的 指定GPU训练模型 这是组里祖传的代码，不修改代码的情况下，直接在
二、TF2 常见问题解决
feifeiyechuan的博客
11-18 1417
TF2 常见问题解决1、模型训练中图残留，导致训练每次训练都会有图数据占用内存，导致内存溢出,程序中断。 1、模型训练中图残留，导致训练每次训练都会有图数据占用内存，导致内存溢出,程序中断。 问题解决方案： 该问题出现是由于每次的图数据残留占用内存，所以可以每个epoch后，清理一次session和图数据。 1）源代码： model.fit([encoder_input_data, decoder_input_data], decoder_target_data, batch_size
模型训练遇到数据量太大而导致内存不够问题？今天教你一招
Python数据挖掘
10-25 4693
sklearn中不少模块支持迭代训练和处理，特点是这些模块包含方法。在使用过程中需要考虑处理数据集为多批次的过程，需要考虑批大小和批个数，同时也需要考虑对最终精度的影响。与使用全量数据的处理相比，使用迭代训练和处理在效果和精度上可能会稍差，但可以在内存有限的情况下使用。
Tensorflow2数据集过大，GPU内存不够
darlingqx的博客
10-09 2566
在我们平时使用tensorflow训练模型时，有时候可能因为数据集太大(比如VOC数据集等等)导致GPU内存不够导致终止，可以自制一个数据生成器来解决此问题。方法就是将数据集图片的路径保存到一个列表之中，然后使用while循环在训练时进行不断读取，，我在训练时出现了这样的问题，这是我的猜测。
tensorflow 迭代周期长，每个epoch时间变慢
weixin_30780649的博客
03-07 565
理论上，session启动后，每个epoch训练时间应该是差不多，而且不会因为迭代周期变长，epoch时间变慢。原因是session里定义了tf.op导致的，每一次迭代都会在graph里增加新的节点，导致memory leak，程序越来越慢，最后强行退出。解决方法，可以在session里定义graph.finalize()锁定graph。比如： sess = tf.Session() ...
解决tensorflow内存占用过高的问题
Devin的博客
08-31 4779
tensorflow在训练和测试过程中如果不特殊设置会一次占满所有内存然后再计算，这个以空间来换取时间，其实其计算效率并不高。但是在实际工程应用中内存占用过高会导致资源浪费。tensorflow提供了限制GPU分配内存的方法(此方法适用于tf2.x): gpus = tf.config.experimental.list_physical_devices('GPU') # 对需要进行限制的GPU进行设置 tf.config.experimental.set_virtual_device_c...
tf训练MNIST包括自定义DataGenerater
最新发布
03-29
MNIST是一个非常流行的手写数字识别数据集，许多深度学习框架都提供了预处理好的MNIST数据集，但是在实际应用中，我们可能需要自己定义数据生成器来处理自己的...这样做的好处是可以在不占用过多内存的情况下训练模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值