TensorFlow gpu训练 oom

最新推荐文章于 2022-03-15 09:39:16 发布
最新推荐文章于 2022-03-15 09:39:16 发布
阅读量611 收藏
点赞数
文章标签： cuda
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/canyanruxue/article/details/102733433
版权
起因

训练的时候提示GPU内存超出 out of memory
然后发现报 can not load dynmic library libcupti.so … 的错误

所以 在LD_LIBRARY_PATH环境变量中添加 ：$HOME/bin/cuda-10.0/extras/CUPTI/lib64 。source 环境变量。关闭窗口重新打开一个。

然后再次训练到第二代的时候 有出现了oom ，。。。 不是这个包引起的。

解决方案
  • cpu训练
  • 减小batch_size
一叶呼呼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
tensorflow-gpu OOM的参数调整
Rain
04-08 728
今天训练网络时出现OOM的error，现总结几点调整方式 OOM 是由GPU内存不够导致的溢出error，解决方法有以下几点： 1. 降低batch，但是有些网络对batch有一定的要求，当batch=1时，BN失效。一般情况下，batch尽可能大一些，加速训练的同时可以获得较好的性能。 2.降低filter数量 3.降低buffer缓存，如下图所示，dataset.shuffle中的...
tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)
noblaker的博客
03-24 6522
最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后，得到的实验结果均与论文结果相反（论文：Distilling the Knowledge in a Neural Network） 所以自己打算用循环方式遍历多种alpha，temperature的参数组合来对比蒸馏效果（不想自己手动调参了.jpg，在notebook里一遍遍调完参重新跑然后保存数据真难顶.
Could not load dynamic library ‘libcupti.so.10.0‘； dlerror: libcupti.so.10.0...
bashan1604的博客
10-13 2319
2020-10-12 13:33:08.132472: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcublas.so.10.0 2020-10-12 13:33:23.066483: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:143] Filling up shuffle buff.
tensorflow oom报错OOM的问题
05-14 5682
OOM定义—out of memory，内存溢出，一个程序中，已经不需要使用某个对象，但是因为仍然有引用指向它垃圾回收器就无法回收它，当该对象占用的内存无法被回收时，就容易造成内存泄露。多个内存泄漏最终会导致内存溢出，即OOM。 这个报错的原因有很多 1、自身代码有问题，导致GPU内存不够用 这个只能自查 2、有未释放的GPU资源，导致GPU不够用；当然也有可能多人使用GPU，别人使用了。 解...
ubuntu上pycharm缺少libcupti.so
Martin Jiang的专栏
01-21 1328
ubuntu系统14.04 跑Deep Learning模型时，在控制台下一切正常，在pycharm下出现缺少libcupti.so的问题。 经检查，是为安全保障，linux桌面application不能加载LD_LIBRARY_PATH环境的问题。 许多大神给出解决方案， 1、针对每个run，在run setting里设置环境变量；麻烦之处在于每个程序都要设置; 2、修改系统文件; 这
解决TensorFlow GPU版出现OOM错误的问题
09-18
今天小编就为大家分享一篇解决TensorFlow GPU版出现OOM错误的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
12498213_tensorflow_gpu-2.2.0-cp37-cp37m-win_amd64.zip
03-06
特别地，对于拥有GPU的用户，TensorFlow 2.2 GPU版能显著提升计算速度，使得模型训练更为高效。本文将详细介绍如何安装和使用TensorFlow 2.2 GPU版。 一、安装TensorFlow 2.2 GPU版 1. 确认硬件兼容性：首先，你...
tensorflow指定GPU与动态分配GPU memory设置
12-20
这样可以更有效地利用GPU资源，避免因一次性分配过多内存导致的“Out of Memory”（OOM）错误。 除了动态内存分配，我们还可以通过`config.gpu_options.per_process_gpu_memory_fraction`设置每个进程可以使用的GPU...
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
12-20
了解和掌握上述方法，可以帮助开发者更高效地使用GPU，优化模型训练流程，同时也能有效地解决可能出现的GPU内存不足（OOM）问题。通过合理分配GPU资源，可以确保TensorFlow程序的稳定性和性能。
Couldn’t open CUDA library libcupti.so.8.0
pangmade的博客
03-12 2292
Couldn’t open CUDA library libcupti.so.8.0在主机运行tensorflow的时候，每次运行到i=98，j=4的时候就报错 LD_LIBRARY_PATH couldn’t find libcupti.so.8.0 ，添加环境变量发现环境变量里面没有相关设置，但是相关的cuda文件能够找到。 在当前账户的～下进行环境修改。 ～/.bashrc添加 e
Keras解决OOM超内存问题
silent56_th的博客
03-03 2万+
如果在Keras内部多次使用同一个Model，例如在不同的数据集上训练同一个模型进而得到结果，会存在内存泄露的问题。在运行几次循环之后，就会报错OOM。解决方法是在每个代码后面接clear_session()函数，显示的关闭TFGraph，再重启。详情参考 https://keras.io/backend/#backend-functions。from keras import backend as
使用gpu版的tensorflow时出现OOM错误(显存溢出错误)： CUDA out of memory的解决办法。
m0_56192771的博客
03-15 4971
gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存，给系统保留 200 M，但是在我的系统上会在分配内存时被拒绝导致报错，因此我们可以使用如下语句指定 GPU 内存的分配空间： 下面以我自己的电脑为例，进行相关设置。因为我的电脑的显存是6G，所以我可以设置tensorflow程序运行时所占用的显存不能超过6G，这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存（程序不会超出限定的显存大小，若超出的报错）。 physical_gpus = t
tensorflow estimator详细介绍，实现模型的高效训练
sgyuanshi的博客
05-26 5962
estimator是tensorflow高度封装的一个类，里面有一些可以直接使用的分类和回归模型，例如tf.estimator.DNNClassifier，但这不是这篇博客的主题，而是怎么使用estimator来实现我们自定义模型的训练。它的步骤主要分为以下几个部分： 构建model_fn，在这个方法里面定义自己的模型以及训练和测试过程要做的事情； 构建input_fn，在这个方法数据的来源和喂...
GPU运行报错的几种问题解决
qq_45603919的博客
06-10 9773
文章目录GPU运行报错的几种问题解决报错一情况一：内存不足情况二： Cudnn版本不匹配报错二报错三 GPU运行报错的几种问题解决 报错一 Failed to get convolution algorithm. This is probably because cuDNN failed to initialize 情况一：内存不足 解决方式：在训练代码头加上以下代码 import tensorflow as tf import numpy as np import keras config = tf.c
tensorflow0.8.0 运行报错Couldn't open CUDA library libcupti.so.7.5
rtygbwwwerr的专栏
06-07 7354
tensorflow0.8.0 运行报错Couldn't open CUDA library libcupti.so.7.5 最近配置Tensorflow 0.8.0+Eclipse+PyDev开发编译环境时，遇到一个问题： Couldn't open CUDA library libcupti.so.7.5 在运行 minist/minist_with_summaries.py
Couldn‘t open CUDA library libcupti.so
qq_46244851的博客
12-06 672
在训练模型时使用print(tf.test.is_gpu_available())显示True,但是在训练时仍然会显示 Couldn't open CUDA library libcupti.so 。 是因为没有为libcupti添加环境变量，其实这一点在官方文档中已经指出了，再次证明查阅官方文档的重要性，不慌，只需要先 cd ~ vi .bashrc 之后添加 export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/loc
TensorFlow 训练模型流程解读（含源码）
热门推荐
Colin_xuan的博客
06-13 2万+
使用TensorFlow 编写了一个对四种花分类的代码，其中涉及到读取数据，搭建模型，测试图片。在编写代码中有些API用的不是很熟练，因此写下此文章记录，方便日后回忆。 第一部分：读取数据和标签 一般我们训练模型，需要大量的数据，一般有数据集，但是一些特殊行业，需要自己手动收集数据。我们把数据分类放好，如图： 四种花的图片分门别类放好。我们就可以写代码读取，并标签0 1 2 3 代码如...
Tensorflow中迁移学习出现 OOM 解决方案
我爱学习的博客
10-28 1875
tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[] 出现以上情况要注意以下两个方式： 1.batch_size值设置过大，导致内存溢出，batch_size是每次送入模型中的值，由于GPU的关系，一般设为16,32,64,128。 2. ima...
模型训练部署过程中的报错处理
大数据AI笔记
11-15 3140
文章目录Allocation of X exceeds 10% of system memory 解决方式wget 下载文件报错：connection reset by peer报错：ERROR (theano.sandbox.cuda): Failed to compile cuda_ndarray.cu: libcublas.so.8.0: cannot open shared object ...
使用tensorflow-gpu训练模型会报oom错,而使用kears就不报错
最新发布
05-01
使用TensorFlow-GPU训练模型报OOM（out of memory）错，可能是GPU显存不足或者TensorFlow分配显存不够合理导致的。与此不同，Keras在训练模型时会自动调整显存分配，避免出现OOM问题。这是因为Keras在模型训练期间只...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值