让tensorflow在GPU上训练时不要占用全部内存

最新推荐文章于 2022-01-19 11:13:14 发布
最新推荐文章于 2022-01-19 11:13:14 发布
阅读量3k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： tensorflow 占用内存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sandwichsauce/article/details/88823006
版权

tensorflow默认训练时占用一块GPU的全部内存，在训练代码python文件中加入以下代码，可以避免这种问题，给实验室的小伙伴们留一点空间。

gpu_options = tf.GPUOptions(allow_growth=True)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

 

Sandwichsauce
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
tf2.0 GPU被无限制占用
苏打水的杯子的博客
02-27 690
tensorflow-gpu在训练程序的时候会自动将GPU占满，解决方法有两种： 方法一：在程序开头加入 # GPU内存占用设置：方法1 physical_gpus = tf.config.list_physical_devices("GPU") tf.config.experimental.set_virtual_device_configuration( physical_gpus[0], [tf.config.experimental.VirtualDeviceConfiguration(.
Tensorflow取消占用全部GPU
weixin_30240349的博客
12-11 648
参考：https://www.cnblogs.com/jiu0821/p/9501665.html Tensorflow默认是会占用全部的GPU，而有时候你根本不需要那么占用那么多GPU资源，这时候就可以采用如下三种方法进行解决： 1、在构造tf.Session()时候通过传递tf.GPUOptions作为可选配置参数的一部分来显式地指定需要分配的显存比例，如下所示： # 假如有12GB...
解决tensorflow2.0版本的gpu内存占用问题(module ‘tensorflow‘ has no attribute ‘ConfigProto‘解决办法)
ghost_him的博客
01-03 4292
这个文章当作我学习tensorflow的一个笔记 当我们输入以下代码 import tensorflow as tf config = tf.ConfigProto() config.gpu_options.visible_device_list = '0' config.gpu_options.allow_growth = True sess = tf.Session(config=config) 可能会出来 module ‘tensorflow’ has no attribute ‘ConfigPro
tensorflow gpu内存使用问题
huxian2964的博客
01-17 1914
Tensorflow对于gpu的使用是先占住所有可用资源，然后使用某块gpu进行计算，因此在代码中需要对gpu的使用做一定的限定根据自己的需求。设置可见GPU当你不想让tensorflow占用你所有的gpu时，可限定tensorflow的可见gpu在终端执行程序时指定GPUCUDA_VISIBLE_DEVICES=1 设置 1 为可见gpu 等同于 CUDA_VISIBLE_DEVICES=“1”
解决TensorFlow-gpu版本训练模型时内存不够的问题
importpygame的博客
09-21 3089
解决TensorFlow-gpu版本训练模型时内存不够的问题 在训练模型的过程中发现自己的内存不够，选择了降低图片精度的方式，但是这样会降低训练的准确率的结果; 辗转多次方法，看了许多大佬的博客与方案后，发现了我们可以通过降低batch_size，增加每个epoch的steps的方法，从而达到了不用压缩图片的目的，因为我们的显卡一次装不下这么多的东西，那么减小batch_size，直到显卡可以一批次装下这么多东西即可。 ...
tensorflow使用GPU训练
ftfy123的博客
03-04 1万+
1. 查看gpu的使用详情： （1）查看gpu使用情况 nvidia-smi.exe # windows上 nvidia-smi -l #linux服务器上 # 显示的结果中 Volatile GPU-Util：浮动的GPU利用率； （2）linux上查看进程占用gpu的情况： ##实用技巧： ##如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存...
解决Tensorflow占用GPU显存问题
12-20
在使用TensorFlow进行深度学习模型训练时，遇到GPU显存管理问题是非常常见的。尤其是在将PyTorch模型转换为TensorFlow模型后，可能会发现TensorFlow会默认占用所有可用的GPU显存，即使模型本身并未完全利用这些资源...
解决tensorflow训练时内存持续增加并占满的问题
09-18
在使用TensorFlow进行深度学习训练时，可能会遇到内存持续增加并最终占满的问题。这个问题通常是由于不正确的代码组织和计算图管理导致的。本文将详细解释这个问题的原因，并提供解决方案。 首先，我们需要理解...
解决TensorFlow训练内存不断增长,进程被杀死问题
12-20
在使用TensorFlow进行深度学习训练时，可能会遇到一个棘手的问题，即训练过程中内存不断增长，最终导致系统因内存不足而杀死进程。这个问题通常源于TensorFlow的图构建机制。在TensorFlow中，计算图（Computational ...
解决tensorflow2.2把GPU显存占满的问题
爱听许嵩歌的博客
05-21 6341
安装了tensorflow-gpu后，运行程序默认是把GPU的内存全部占满的，有时我们不想全部占满，可以这样操作。 解决代码： import tensorflow as tf import os os.environ['CUDA_VISIBLE_DEVICES']="0" # GPU的编号 config=tf.compat.v1.ConfigProto() config.gpu_options.visible_device_list = '0' # GPU的编号 config.gpu_options.
解决tensorflow在训练时默认占用所有GPU的显存
qq_35148758的博客
06-26 3761
tensorflow在训练时默认占用所有GPU的显存。 可以通过以下方式解决该问题： 1.在构造tf.Session()时候通过传递tf.GPUOptions作为可选配置参数的一部分来显式地指定需要分配的显存比例，如下所示： # 假如有12GB的显存并使用其中的4GB: gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.33...
如何防止Tensorflow分配整个GPU内存？
lcczzu的专栏
06-13 1636
我在共享计算资源的环境中工作，也就是说，我们有几台服务器机器都配备了几个Nvidia Titan X GPU。 对于小到中等尺寸的模型，Titan X的12GB通常足以让2-3人在同一GPU上同时进行训练。如果模型足够小，以至于单个模型不能充分利用Titan X的所有计算单元，那么实际上可以导致某种加速（相比串行多个训练任务来说）。即使在GPU的并发访问确实减慢了单个训练时间的情况下，同时在GP...
Tensorflow2.0以上版本GPU使用
clownwai的博客
01-19 1752
项目场景：Docker+Gunicorn+flask+Tensorflow2.3.0使用单GPU加载双模型 问题描述：如果单Tensorflow2.3.0使用GPU加载双模型出现out of memory 原因分析： tensorflow使用GPU时默认将整个GPU占满。 解决方案： 1. from tensorflow.compat.v1 import ConfigProto from tensorflow.compat.v1 import InteractiveSession config
tensorflow-gpu
wnloverforever的博客
11-11 184
由于在使用tensorflow训练模型时，会自定义默认将所有gpu占满，所以在训练时可以指定使用tensorflow使用的gpu import os #指定第二块GPU os.environ['CUDA_VISIBLE_DEVICES'] = '1' #自定义显存 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7) ...
使用Tensorflow或Keras时对GPU内存限制
沐雨浥尘
10-16 963
博客原文——使用Tensorflow或Keras时对GPU内存限制 跑Keras 或者 Tensorflow时默认占满所有GPU内存，这时如果想再开一个进程，或者别人想开一个进程都挤不上来，所以必须限制GPU内存 最好的资料还是官方文档 visible_device_list指定使用哪块显卡 per_process_gpu_memory_frac...
tensorflow1、2设置不占满显存
yangchen1024的博客
09-06 914
Preface tensorflow的默认调度策略是吃满显存，如果我们模型较小、显存较大、占用率不足40%（自己估计的）时，是可以利用GPU同时训练两个模型的。 tensorflow 1 config = tf.ConfigProto() config.gpu_options.allow_growth = True sess = tf.Session(config=config) tensorflow 2 gpus = tf.config.list_physical_devices(device_type
tensorflow训练时内存持续增加并占满
热门推荐
张小白的博客
06-13 2万+
记录一次小白的tensorflow学习过程，也为有同样困扰的小白留下点经验。先说我出错和解决的过程。在做风格迁移实验时，使用预加载权重的VGG19网络正向提取中间层结果，结果因为代码不当，在遍历图片提取时内存持续增长，导致提取几十个图片的特征内存就满了。原因是在对每一张图片正向传播结束后，都会在留下中间信息。具体地说是在我将正向传播的代码与模型的代码分离了，在每次遍历图片时都会正向传播，在tens...
解决Mask RCNN训练时GPU内存溢出问题
m0_37957160的博客
09-18 8738
首先自己是个小白对于如何使用GPU跑程序这个学习了一下： （1）使用的是putty，安装了Anaconda这个IDE环境，用的conda install tensorflow-gpu安装的GPU版本tf,之前只是安装了tf并没有选择GPU版本。安装完GPU版本的tf，可以进入python环境导入import tensorflow as tf 进行测试一下，如果没有报错即为成功。 （2）并在自己...
tensorflow 训练很小数据集gpu内存满
最新发布
08-31
当训练很小的数据集时，出现GPU内存不足的问题可能有以下几个原因： 1. 数据集过大：虽然数据集本身很小，但可能在加载数据时进行了一些处理或者转换，导致数据集的大小变大。在加载数据时，可以尝试使用tf.data....
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值