TensorFlow1.x/2.x配置动态显存方法

最新推荐文章于 2023-04-25 00:09:47 发布
最新推荐文章于 2023-04-25 00:09:47 发布
阅读量1.6k 收藏 6
点赞数 2
分类专栏： 深度学习 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hlld__/article/details/107847660
版权

配置动态显存的必要性

TensorFlow默认是占用全部的显存，不过比较BUG的是，就算模型用不了全部的显存，TensorFlow也会尽可能地多申请显存，可能是出于性能方面的考虑，并且如果满足不了它就会罢工。。比如我一块6GB显存的1660Ti或者RTX 2060，运行YOLOv4的推理程序如果不配置显存动态增长就会报错，不管是TensorFlow 1.x还是2.x的版本我都遇到了这样的问题。明明用darknet运行啥事都没有，就这货会搞事情。。下面简单记录下TensorFlow 1.x / 2.x版本的配置动态显存增长的方法。

配置方法

对于TensorFlow 1.x版本的用户，配置的方法如下：

import tensorflow as tf

config = tf.ConfigProto(allow_soft_placement=True)
config.gpu_options.allow_growth &#
最低0.47元/天 解锁文章
TensorFlow 2.0之后动态分配显存
Scluis的博客
01-17 1605
import tensorflow as tf config = tf.compat.v1.ConfigProto() config.gpu_options.allow_growth = True sess = tf.compat.v1.Session(config = config) tf.compat.v1.keras.backend.set_session(sess)
Tensorflow 2.x入门教程
「 虚幻私塾」
03-02 1157
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 前言层次结构概述创建张量计算图自动微分数据输入Numpy构建数据生成器构建数据keras.utils.Sequence搭建模型顺序建模函数式API建模自定义建模损失函数自定义损失函数度量函数函数自定义度量类自定义度量优化器回调函数Tensorboard训练模型model
Tensorflow 动态显存
weixin_42847126的博客
05-20 429
Tensorflow 动态显存
Tensorflow,Keras使用动态显存分配
qi_sama的博客
12-15 2293
Tensorflow,Keras使用动态显存分配 使用tf，keras训练时常常占满显存，因此采用动态显存分配策略节约资源 import tensorflow as tf #这里如果用到tf2版本，则替换为> import tensorflow.compat.v1 as tf config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config) ...
Tensorflow1.x版本在服务器调用gpu
qq_62687015的博客
04-25 554
一般不升级Keras会有问题产生，需要将Keras升级到Tensorflow同样的版本。另外有些函数需要进行改变。注意：原本代码不含蓝色一块，由于调用gpu的原因添加，然后可成功调用服务器的gpu（附代码）如：修改前（此图是安装完tensorflow-gpu后，改回原来的代码，所以SGD会报错）4.程序中调用GPU。
tensorflow2 设置显存按需增长
秋叶原的黑猫的博客
04-01 1989
关于tensorflow2如何使用GPU，网上有很多方法，包括但不限于： 方法一：指定某块GPU import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" 实际使用中我只能指定CUDA_VISIBLE_DEVICES的参数为“2”，指定其他参数报错。但即便如此，跑代码的时候还是没有用到GPU。 方法二：使用configproto()方法，控制GPU显存使用比例 import tensorflow as tf from keras.backend.tensorfl
RTX3070 Ubuntu18.04 tensorflow1.x环境搭建
suziguai的博客
03-25 959
记录ubuntu服务器加装RTX30系列显卡搭建tensorflow环境的过程 搭建深度学习环境，需要使用到的深度学习框架和显卡之间存在对应关系，但是很多网上找到的深度学习算法实现是基于低版本的框架代码实现的，由于tensorflow框架版本变动较大，算法工程师要求安装1.4版本的tensorflow，采购显卡时未考虑到兼容性问题，网上找了好多帖子，这里记录一下完整的过程。 具体的安装步骤分为： 安装cuda，cudnn 安装docker，nvidia docker2 拉取nvidia docker ru
TensorFlow: 1.x将长时间保持主流
luv_dusk 的博客
01-11 968
Tensorflow 2.0版本虽然推出已有些时日了，前两天 2.1 版本也已经放出来了，但笔者基于一些猜想，一直兴趣乏匮。今天读了读官方说明书，又在一些网站看了看先锋人士的使用体会，果不其然。最终得出结论：**熟悉 TF1.x 的开发者们暂时没有必要切换到 2.x 版本**。具体地，我分为以下几个方面来讨论。
tensorflow2.x的安装与环境配置
本章节将为大家介绍TensorFlow 2.x的安装与环境配置。 ## 1.2 什么是TensorFlow 2.x TensorFlow是一个由Google开发的开源机器学习框架，被广泛应用于深度神经网络的构建、训练和部署等多个领域。而TensorFlow 2.x...
python无法使用1号gpu_详解tensorflow2.x版本无法调用gpu的一种解决方法
weixin_39532466的博客
02-21 624
最近学校给了一个服务器账号用来训练神经网络使用，服务器本身配置是十路titan V，然后在上面装了tensorflow2.2，对应的python版本是3.6.2，装好之后用tf.test.is_gpu_available()查看是否能调用gpu，结果返回结果是false，详细如下：这里tensorflow应该是检测出了gpu，但是因为某些库无法打开而导致tensorflow无法调用，返回了fals...
Tensorflow中使用CPU及GPU的参数设置
akaigyouhou的博客
03-05 3463
Tensorflow中使用CPU及GPU的参数设置 在进行SVM机器学习训练时，报dst Tensorflow is not initialized错误，为显存使用溢出错误。解决方式为使用CPU或者限制GPU显存。 1、设置使用GPU还是CPU： import os os.environ['CUDA_VISIBLE_DEVICES'] = "0" 2、安装GPU版本Tensorflow，只有一...
TensorFlow指定GPU设备、分配显存
van的博客
10-25 1773
一、使用GPU加速运算         1.TensorFlow程序中可以通过tf.device函数来指定运行的设备。           CPU名称为"/cpu:0"，即使有多个CPU，所有的CPU都使用/cpu:0作为名称。           GPU则不同，是"/gpu:n"，n可替换。n=0，即是第一个GPU，以此类推。         2.观察每个运算所用的设备：       ...
tensorflow1、2设置不占满显存
yangchen1024的博客
09-06 1034
Preface tensorflow的默认调度策略是吃满显存，如果我们模型较小、显存较大、占用率不足40%（自己估计的）时，是可以利用GPU同时训练两个模型的。 tensorflow 1 config = tf.ConfigProto() config.gpu_options.allow_growth = True sess = tf.Session(config=config) tensorflow 2 gpus = tf.config.list_physical_devices(device_type
Tensroflow2 GPU训练配置
m0_43402033的博客
03-30 1199
GPUTensorflow GPU训练配置以下教程建立在已经安装好Tensorflow2基础上，进一步管理GPU资源消耗。
tensorflow如何使用gpu
热门推荐
To_be_little的博客
04-26 3万+
tensorflow查看GPU的数量、使用GPU加速，单GPU模拟多GPU环境等
Tensorflow的GPU分配方法
looknm的专栏
08-03 2014
Tensorflow、多个GPU
tensorflow指定GPU与动态分配GPU memory
sherry_颖的博客
03-15 4089
在tensorflow中，默认指定占用所有的GPU，如需指定占用的GPU，可以在命令行中：export CUDA_VISIBLE_DEVICES=1这样便是只占用1号GPU，通过命令nvidia-smi可以查看各个GPU的使用情况。另外，也可以在python程序中指定GPU，并且动态分配memory，代码如下import os import sys os.environ['CUDA_VISIBLE...
23- GPU设置和多分布自定义模型 (TensorFlow系列) (深度学习)
March_A的博客
03-02 1291
为什么需要分布式?数据量太大, 模型太复杂同步式分布式训练适用于一机多卡每个GPU都有网络结构的所有参数, 这些参数会被同步加速方法: 数据并行Batch数据切为N份分给各个GPU梯度聚合然后更新给各个GPU上的参数MirroredStrategy的变种参数不是在每个GPU上, 而是存储在一个设备上CPU或者唯一的GPU上计算是在所有GPU上并行的除了更新参数的计算类似MirroredStrategy适用于多级多卡情况与MirroredStrategy类似。
如何在TensorFlow 2.x中替代`ConfigProto`?
最新发布
11-12
在TensorFlow 2.x中，你可以使用`tf.config`模块来代替`ConfigProto`进行会话配置。以下是一些常见的配置示例： 1. **设置GPU内存增长**： ```python import tensorflow as tf config = tf.config.experimental_run_functions_eagerly(True) gpus = tf.config.list_physical_devices('GPU') if gpus: try: tf.config.experimental.set_memory_growth(gpus[0], True) except RuntimeError as e: # GPU memory growth must be set before GPUs have been initialized print(e) ``` 2. **指定运行模式**（eager execution或graph mode）： ```python tf.config.run_functions_eagerly(False) # 设置为图模式 ``` 3. **限制CPU核心数**： ```python tf.config.threading.set_inter_op_parallelism_threads(4) tf.config.threading.set_intra_op_parallelism_threads(8) ``` 4. **禁用所有显存增长**： ```python config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.3 # 限制每个进程分配30%的GPU内存 ``` 请注意，不是所有的`ConfigProto`选项都能在新版本中找到对应的API，因此在切换时需要查看最新的TensorFlow文档以获取正确的配置方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值