keras+tensorflow出现的内存溢出问题解决方法

最新推荐文章于 2023-03-01 18:45:00 发布
最新推荐文章于 2023-03-01 18:45:00 发布
阅读量2.5k 收藏
点赞数
文章标签： keras tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EdithXu/article/details/88872824
版权

做实验的时候要求个testaccuracy的稳定值，所以在loop里跑了model，但是内存溢出。搜了各种博客github等，大多给出的答案是在运行完模型之后加一句k.clear_session()。但是我的实际情况是加上这句话后程序会被终止process finished with exit code -1073741819 0xc0000005
解决办法：keras降级到2.1.6 之前自己的版本是keras2.2.4，tensorflow1.8
参考：https://github.com/keras-team/keras/issues/2102

EdithXu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
完美解决TensorFlow和Keras大数据量内存溢出的问题
09-16
主要介绍了完美解决TensorFlow和Keras大数据量内存溢出的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Keras 快速解决OOM超内存的问题
12-17
如果在Keras内部多次使用同一个Model，例如在不同的数据集上训练同一个模型进而得到结果，会存在内存泄露的问题。在运行几次循环之后，就会报错OOM。 解决方法是在每个代码后面接clear_session()函数，显示的关闭TFGraph，再重启。 详情参考 https://keras.io/backend/#backend-functions。 from keras import backend as K K.clear_session() 补充知识：Keras多次加载模型进行测试时内存溢出的解决方法 在进行实验的过程中，保存了每个epoch的模型参数文件，需要验证每个保存的模型的效果
使用keras、tensorflow-gpu训练数据内存泄漏
qq_40947610的博客
12-01 1013
keras使用gpu训练数据内存泄漏 问题描述： 1、使用单个model.fit()，非循环，使用tensorflow-gpu后端，使用显卡训练数据，程序能正常运行， 但随着迭代次数增加内存越来越大，然后被杀死。 2、ubuntu系统、miniconda管理环境。 3、找了很多博客和github、stackflow等，都有相关的内容，但大部分解决的办法都不可行。 解决： 1、conda list 或pip list 查看tensorflow版本，发现tensorflow版本大于2.0，正是tensorflo
由于循环调用tensorflow.keras.predict导致的内存泄漏问题
qq_59975945的博客
03-01 946
由于循环调用tensorflow.keras.predict导致的内存泄漏问题
keras计算机内存不足,在keras.preprocessing.text中使用Tokenizer时内存不足
weixin_36265665的博客
07-28 186
我想用keras建立一个RNN模型来对句子进行分类。我尝试了以下代码：docs = []with open('all_dga.txt', 'r') as f:for line in f.readlines():dga_domain, _ = line.split(' ')docs.append(dga_domain)t = Tokenizer()t.fit_on_texts(docs)encode...
python Deep Learning: keras模型占用内存，导致RAM内存不够用怎么办
Ondo的博客
06-08 1306
在用Theano作为后端运行模型时，需要循环运行模型并不会自动关闭，还是回留存在RAM中。这时就会发生内存崩溃的情况。在网上搜索大量解决方案，基本都是建议用方法来解决模型的内存占用问题，但是该方法是基于Tensorflow作为后端，但是我的是Theano后端。不断搜索解决方案后，发现问题在于Theano版本问题。Theano0.9.0版有一个已知的内存泄漏问题。作为一种变通方法，可以暂时回退到0.8.2版，该版本将正常工作。...
keras无法多次调用model.predict
sinat_41462106的博客
12-23 919
在用keras循环预测各个主体时，经常会内存溢出。但是单个主体是没有错误的。发现我在对对象重新赋值后内存并没有释放。随着循环次数增加最后内存溢出的 model = keras.models.load_model('F:/DB1/model/Away10reluBNCNN1D/3468910-1/DB1_s'+ str(j) + '1Seg205m.h5') Y_test = to_categorical(np.array(Y_test)) Y_predi
Keras：GPU利用率不高， 循环调用模型的时候内存溢出
Julse的博客
11-22 3296
问题：GPU利用率低下， 307MiB / 32510MiB 尝试解决 增加batch_size 也没有效果，超过某个数就内存溢出了==》 说明非batch_size 过小导致这个问题 如果在一块卡上再启动一个进程来训练模型，只能再叠加一个305Mib，并且程序在运行中可能出现内存溢出 问题 五折交叉验证的时候，第一折跑完了，跑第二折的时候，内存溢出，是因为前面训练时占用的内存没有释放掉。可能是由于代码首部指定的使用GPU的方式引起的 指定GPU训练模型 这是组里祖传的代码，不修改代码的情况下，直接在
kera中使用keras.banked.ctc_decoder()导致内存不断增加的问题解决
CoffreLv的博客
11-14 675
kera中使用keras.banked.ctc_decoder()导致内存不断增加的问题解决 遇到的问题 在使用keras训练了模型后，使用模型进行测试，测试过程中发现随着测试数据的增加，测试速度不断降低，最后近乎停止。 寻找问题根源 通过在网上查找资料发现，此问题直接原因是调用keras.banked.ctc_decoder()或者keras.bankend.get_value()两个函数时，每...
TensorFlow和Keras解决大数据量内存溢出问题
leadai的博客
04-18 2万+
NVIDIA DLI 深度学习入门培训 | 特设三场！4月28日/5月19日/5月26日一天密集式学习  快速带你入门阅读全文>正文共5771个字，1张图，预计阅读...
tensorflow2.0内存溢出解决办法
weixin_43827767的博客
05-30 1041
tensorflow2.0内存溢出解决办法 一、tf CUDA_ERROR_OUT_OF_MEMORY: out of memory 二、tf2.0 physical_devices = tf.config.experimental.list_physical_devices('GPU') if len(physical_devices) > 0: for k in range(len(physical_devices)): tf.config.experimental.se
解决Tensorflow sess.run导致的内存溢出问题
12-20
在使用TensorFlow进行深度学习模型推理时，可能会遇到内存溢出的问题，特别是在批量处理大量数据时。本案例中，问题发生在`sess.run()`这一关键步骤，它负责执行计算图中的操作并返回结果。以下是针对这个问题的详细...
解决TensorFlow训练内存不断增长,进程被杀死问题
09-18
每次运行`sess.run(test[0])`时，`test[0]`会被添加到图中，虽然单次运行不会导致内存溢出，但如果在循环中执行，内存使用量会逐渐累积。 为了解决这个问题，我们需要遵循以下策略： 1. **避免在`Session.run()`...
TensorFlow 2.0 model的predict()方法详解以及自定义predict实现预测数据和真实数据配对输出
热门推荐
yue81560的博客
03-31 4万+
TensorFlow模型训练过程中`fit()`可以直接设置`validation_data`为test数据集来测试模型的性能。但是通常我们要绘制模型的真实数据和预测数据的展示图，就需要输出模型的预测值。在使用Dataset作为模型输入时，由于其具有迭代器特征以及自动的shuffle，会使得预测值和真实值的数据排序顺序不一致，这时可以自定义predict过程，实现预测值和真实值的配对输出
Process finished with exit code -1073740791 (0xC0000409)
人工智能视觉分析算法学习实践和经验分享。
08-31 2549
显卡内存不足 Process finished with exit code -1073740791 (0xC0000409) 问题描述： 训练AI模型时，遇到无错跳出finished with exit code -1073740791 提示，显卡内存不足。 原因分析： 很有可能是你只有单个显卡，一次读取的数据太大，从而内存溢出; 解决方案： 解决方式一：训练时可以适当的调小batch_size； 方法二，换显卡或到多显卡的机器上去训练。 ...
tensorflow载入报错Process finished with exit code -1073741819 (0xC0000005)
peach_orange的博客
09-20 8720
        这几天准备在现有的软件里加上caffe来测试一种新算法。发现windows下python3.6安装caffe是真的难，只能装好python2.7的版本就放弃了。回来继续完善软件，又发现软件里的tensorflow不能导入了。import tensorflow as tf 会导致Process finished with exit code -1073741819 (0xC00000...
ANACONDA +Cuda及cuDNN+Tensorflow-gpu版本+keras安装步骤的ppt
最新发布
03-01
本PPT详细介绍了如何在ANACONDA环境中集成CUDA及cuDNN，以便于在TensorFlow-gpu版本上进行深度学习开发，以及安装和使用Keras进行分类任务。以下是主要内容的详细解析： 1. ANACONDA安装： ANACONDA是Python的一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值