tensorflow-gpu OOM的参数调整

最新推荐文章于 2024-04-21 15:35:21 发布
最新推荐文章于 2024-04-21 15:35:21 发布
阅读量735 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38742161/article/details/105383741
版权

今天训练网络时出现OOM的error，现总结几点调整方式

OOM 是由GPU内存不够导致的溢出error，解决方法有以下几点：

1. 降低batch，但是有些网络对batch有一定的要求，当batch=1时，BN失效。一般情况下，batch尽可能大一些，加速训练的同时可以获得较好的性能。

2.降低filter数量

3.降低buffer缓存，如下图所示，dataset.shuffle中的buffer数量通常设置为batch_size*8，无需太大。

    dataset = dataset.batch(batch_size)
    dataset = dataset.shuffle(batch_size*8)

 

hr_net
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决TensorFlow GPU版出现OOM错误的问题
12-20
问题： 在使用mask_rcnn预测自己的数据集时，会出现下面错误： ResourceExhaustedError: OOM when allocating tensor with shape[1,512,1120,1120] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc [[{{node rpn_model/rpn_conv_shared/convolution}} = Conv2D[T=DT_FLOAT, data_format="NCHW", dilation
12498213_tensorflow_gpu-2.2.0-cp37-cp37m-win_amd64.zip
03-06
pip install tensorflow-gpu==2.2.0 ``` 二、验证安装 安装完成后，通过运行一段简单的代码来验证TensorFlow 2.2 GPU版是否正确安装： ```python import tensorflow as tf print("TensorFlow version:", tf.__...
Tensorflow中使用CPU及GPU的参数设置
akaigyouhou的博客
03-05 3403
Tensorflow中使用CPU及GPU的参数设置 在进行SVM机器学习训练时，报dst Tensorflow is not initialized错误，为显存使用溢出错误。解决方式为使用CPU或者限制GPU显存。 1、设置使用GPU还是CPU： import os os.environ['CUDA_VISIBLE_DEVICES'] = "0" 2、安装GPU版本Tensorflow，只有一...
TensorFlow—OOM问题
weixin_40267373的博客
03-27 1378
TensorFlow OOM 问题 记一个关于TensorFlow的小笔记： 使用model 在 TensorFlow 2.0 中每次使用完 keras 中的 model import tensorflow as tf model = tf.keras.models.load_model("model.h5") prediction=model.predict() 一定要记着 清理释放内存，否者...
使用gpu版的tensorflow时出现OOM错误(显存溢出错误)： CUDA out of memory的解决办法。
m0_56192771的博客
03-15 5006
gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存，给系统保留 200 M，但是在我的系统上会在分配内存时被拒绝导致报错，因此我们可以使用如下语句指定 GPU 内存的分配空间： 下面以我自己的电脑为例，进行相关设置。因为我的电脑的显存是6G，所以我可以设置tensorflow程序运行时所占用的显存不能超过6G，这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存（程序不会超出限定的显存大小，若超出的报错）。 physical_gpus = t
关于Theano和Tensorflow多GPU使用问题
09-16
具体的编程指导可以在官方文档中找到：[Using Multi-GPU with Theano](http://deeplearning.net/software/theano/tutorial/using_multi_gpu.html#) 5. **Theano版本更新**： - 版本0.9.0的Theano开始弃用旧的CUDA...
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
12-20
了解和掌握上述方法，可以帮助开发者更高效地使用GPU，优化模型训练流程，同时也能有效地解决可能出现的GPU内存不足（OOM）问题。通过合理分配GPU资源，可以确保TensorFlow程序的稳定性和性能。
tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)
noblaker的博客
03-24 6591
最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后，得到的实验结果均与论文结果相反（论文：Distilling the Knowledge in a Neural Network） 所以自己打算用循环方式遍历多种alpha，temperature的参数组合来对比蒸馏效果（不想自己手动调参了.jpg，在notebook里一遍遍调完参重新跑然后保存数据真难顶.
Tensorflow运行中遇到OOM when allocating tensor的解决
qq_45704645的博客
11-14 3070
Tensorflow运行中遇到OOM when allocating tensor 在使用tensorflow训练程序的时候，遇到了如下错误： 原因是GPU OOM内存不够，因此可尝试改成批处理。即将训练的数据调小。 将batch_size调小。
关于Tensorflow使用CPU报错的解决方式
12-20
如下所示，简单明了，希望能帮助到你 解决： Operation was explicitly assigned to /device:GPU:0 but available devices are [ /job:localhost/replica:0/task:0/cpu:0 ]. tf.app.Flags.DEFINE_boolean(‘clone_on_cpu’,False,’use CPUs to deploy clones.’) 改为： tf.app.Flags.DEFINE_boolean(‘clone_on_cpu’,True,’use CPUs to deploy clones.
tensorflow oom报错OOM的问题
05-14 5694
OOM定义—out of memory，内存溢出，一个程序中，已经不需要使用某个对象，但是因为仍然有引用指向它垃圾回收器就无法回收它，当该对象占用的内存无法被回收时，就容易造成内存泄露。多个内存泄漏最终会导致内存溢出，即OOM。 这个报错的原因有很多 1、自身代码有问题，导致GPU内存不够用 这个只能自查 2、有未释放的GPU资源，导致GPU不够用；当然也有可能多人使用GPU，别人使用了。 解...
TensorFlow中OOM错误
WeiXy的博客
10-30 569
I have seen OOMs happen several epochs into training in tensorflow, my best guess is that if your model is at the borderline of using all the GPU memory then internal memory allocation issues such as ...
tensorflow的GPU版本运行时出现OOM错误解决方法
elena250的博客
01-12 2909
tensorflow的GPU版本运行时出现OOM错误解决方法 问题描述 在使用tensorflow的GPU版本跑神经网络相关的代码时出现了如下的错误：Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. 解决方法 出现上述原因主要是因为GPU的显存太小，导致程
TensorFlow gpu训练 oom
www.yiye.tech
10-24 613
起因：训练的时候提示GPU内存超出 out of memory 然后发现报 can not load dynmic library libcupti.so … 的错误 所以 在LD_LIBRARY_PATH环境变量中添加 ：$HOME/bin/cuda-10.0/extras/CUPTI/lib64 。source 环境变量。关闭窗口重新打开一个。over ...
GPU上运行Mindspore程序出现OOM
weixin_45666880的博客
07-03 236
问题描述：能够在单张GPU上成功运行模型，但是在单机多卡训练时，保持batchsize不变，随着训练进行，会出现显卡内存不足的问题(OOM)1、使用mpirun运行多卡训练，运行代码为mpirun --allow-run-as-root -n $DEVICE_NUM python train_mindspore.py --config_path $CONFIG_PATH --device_num $DEVICE_NUM> train.log 2>&1 &解答：看日志执行的是PyNative模式，PyNati
gpu训练陷入：ran out of memory (OOM)
最新发布
weixin_43749509的博客
04-21 243
报错：Allocator (GPU_0_bfc) ran out of memory trying to allocate 3.02GiB with freed_by_count=0......解决方法：尝试用上单个GPU的所有显存（如果代码没有设置允许tensorflow根据自动增加申请的显存）报错原因在于GPU显存不够用了。
Keras GPU OOM内存不足
kallalaldjkf的博客
10-10 2965
https://blog.csdn.net/xiaosongshine/article/details/90286562
关于RuntimeError: CUDA out of memory. （OOM）尽管GPU利用率为0
weixin_51187996的博客
04-10 304
RuntimeError: CUDA out of memory. Tried to allocate 52.00 MiB (GPU 0; 15.90 GiB total capacity; 14.85 GiB already allocated; 51.88 MiB free; 15.07 GiB reserved in total by PyTorch)是显存炸掉了，可以改小batch_size，显存炸了以后，自然GPU也没有利用，因为模型尚未开始训练，所以显存利用率为0。2G显存支持：SSD、YOLO
使用tensorflow-gpu训练模型会报oom错,而使用kears就不报错
05-01
使用TensorFlow-GPU训练模型报OOM（out of memory）错，可能是GPU显存不足或者TensorFlow分配显存不够合理导致的。与此不同，Keras在训练模型时会自动调整显存分配，避免出现OOM问题。这是因为Keras在模型训练期间只分配必要的显存，不会占用全部显存，这样在GPU显存有限的情况下就能有效减小OOM的概率。同时，Keras还支持多个GPU并行训练，可以显著提高训练速度。 针对TensorFlow-GPU出现OOM的问题，有一些解决方案，例如： 1. 减小batch size，这样可减少一次性在显存中占用的空间； 2. 采用分布式训练，将计算任务分配到多个GPU上； 3. 增加GPU显存大小，可通过更换显卡等方式实现； 4. 优化网络结构和代码，例如采用更简单的模型、减少层数、删除占用大量显存的操作等。 总之，TensorFlow-GPU和Keras都是深度学习领域常用的框架，它们各有优缺点。使用TensorFlow-GPU进行模型训练需要合理分配GPU显存以避免OOM问题，而Keras则自动调整显存分配，简化了模型训练的复杂性。根据自身需求和条件选择适合自己的框架，能够更好地进行深度学习模型训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值