tensorflow-gpu分配显存tf.ConfigProto和tf.GPUOptions

最新推荐文章于 2023-08-31 21:29:46 发布

Muzi_Water

最新推荐文章于 2023-08-31 21:29:46 发布

阅读量2.2k

点赞数

分类专栏： Tensorflow Python

本文链接：https://blog.csdn.net/Muzi_Water/article/details/88182751

版权

在使用tensorflow-gpu时，初始化Session不指定显存可能导致错误。通过tf.ConfigProto和tf.GPUOptions可以设置显存分配策略。allow_growth参数允许按需增长显存，但可能导致碎片；per_process_gpu_memory_fraction则限制每个GPU的最大显存使用率。其他配置选项如log_device_placement和allow_soft_placement用于设备分配和线程并行运算。

摘要由CSDN通过智能技术生成

初次使用tensorflow-gpu时用的sess = tf.Session()启动图，这时总报如下错误

但是程序逻辑是没有问题的，后来发现是需要为其分配显存，因此需要将sess = tf.Session()改为：

config = tf.ConfigProto()
config.gpu_options.allow_growth=True
sess = tf.Session(config=config)

当allow_growth设置为True时，分配器将不会指定所有的GPU内存而是根据需求增长，但是由于不会释放内存，所以会导致碎片

也可以改为：

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

per_process_gpu_m

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Muzi_Water

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

TensorFlow-tf.GPUOptions（）

sunnyblogs的博客

01-02

1632

1.tf.GPUOptions（） tf.GPUOptions（）主要用于tensorflow的训练。 tensorflow训练时默认占用所有GPU的显存。深度学习代码运行时往往出现多个GPU显存被占满清理。在构造tf.Session()时可通过tf.GPUOptions作为可选配置参数的一部分来显示地指定需要分配的显存比例。通常以下代码是成对儿出现的： gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=args.gpu_memory_f

tensorflow中使用tf.ConfigProto()配置Session运行参数同时对GPU设备指定

张家四少

03-28

846

tf.ConfigProto()函数用在创建session的时候，用来对session进行参数配置： config = tf.ConfigProto(allow_soft_placement=True, allow_soft_placement=True) config.gpu_options.per_process_gpu_memory_fraction = 0.4 #占用40%显存 se...

参与评论您还未登录，请先登录后发表或查看评论

TensorFlow学习——tf.GPUOptions和tf.ConfigProto用法解析

c20081052的专栏

09-03

3万+

在服务器上用多GPU做训练时，由于想只用其中的一个GPU设备做训练，可使用深度学习代码运行时往往出现多个GPU显存被占满清理。出现该现象主要是tensorflow训练时默认占用所有GPU的显存。查看你的源文件中是否有类似如下的代码片段： with tf.Graph().as_default(): gpu_options=tf.GPUOptions(per_process_gpu_m...

TensorFlow GPU集群训练配置 ConfigProto

u010899985的博客

08-18

3395

常用的深度学习训练模型为数据并行化，即TensorFlow任务采用相同的训练模型在不同的小批量数据集上进行训练，然后在参数服务器上更新模型的共享参数。TensorFlow支持同步训练和异步训练两种模型训练方式。异步训练即TensorFlow上每个节点上的任务为独立训练方式，不需要执行协调操作，如下图所示：同步训练为TensorFlow上每个节点上的任务需要读入共享参数，执行并行化的梯度计...

关于c版和c++版tensorflow设置GPU选项

qq_26611129的博客

08-31

745

TensorFlow 在运行中，通常默认占用机器上的所有 GPU 资源，但实际运行模型并不需要占用如此多的资源，为了使 GPU 资源得到充分的使用，我们通常需要手动指定 TensorFlow 使用的 GPU 资源，在使用 Python 进行 TensorFlow 开发时，对于 GPU 资源的设置很方便，但是在使用 C/C++ 对 TensorFlow 模型进行工程化实现时，这个设置就变得相对复杂。由于近期在对 TensorFlow 进行 C/C++ 工程化时遇到了指定 GPU 资源的问题，于是总结一下。

Tensorflow C++ GPU设置显存

人脸识别中模型

03-06

2324

Tensorflow C++ GPU设置显存Tensorflow C++ GPU设置显存Python端设置显存的方式C++ 端设置 Tensorflow C++ GPU设置显存 Tensorflow 在运行中经常会占用全部的显存，并且在C++工程化时会遇到不自动释放显存，本文将介绍如何在C++中设置GPU显存。 Python端设置显存的方式在构造tf.Session()时候通过传递tf.GP...

tensorflow-gpu-2.12.0.tar.gz

02-16

4. **内存管理**：TensorFlow GPU 版本对GPU内存进行了优化，确保有效利用GPU的显存，避免了不必要的数据交换。 ### 安装与配置在安装TensorFlow GPU 2.12.0时，首先确保你的系统满足以下要求： 1. **硬件**：...

tensorflow-gpu报错：tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found

laxyer的博客

03-27

1581

tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found. (0) Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. [[{{no

tf.ConfigProto()整理

duyuanjun123的博客

07-08

994

持续整理中tf.ConfigProto()tf.GPUOptions()动态申请缓存限制GPU的使用率 tf.ConfigProto() tf.ConfigProto()在创建tf.Session(config=tf.ConfigProto())进行参数配置。主要的参数有以下几种： allow_soft_placement=True：如果是 True，允许 tensorflow 自动分配设备。 log_device_placement=True：如果是 True，打印设备分配日志。 device_c

[tf] config.gpu_options.allow_growth=True

weixin_43742643的博客

11-22

5857

默认开启 Tensorflow 的 session 之后，就会占用几乎所有的显存，这样的话速度会比较快。使用allow_growth option，刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放内存，所以会导致碎片。 config = tf.ConfigProto() config.gpu_options.allow_growth = True set_session(tf.Session(config=config)) ...

强制使用GPU

weixin_43823799的博客

03-05

1483

Tensorflow 对于Tensorflow，声明Session的时候加入device_count={‘gpu’:0}即可 import tensorflow as tf sess = tf.Session(config=tf.ConfigProto(device_count={'gpu':0})) Keras 对于Keras,则调用后端函数，设置其使用如上定义的Session即可 im...

Keras以及Tensorflow强制使用CPU，GPU

热门推荐

mjiansun的专栏

08-23

4万+

Keras如果是使用Theano后端的话，应该是自动不使用ＧＰＵ只是用ＣＰＵ的，启动ＧＰＵ使用Theano内部命令即可。对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的ＧＰＵ，而我需要其必须只运行在ＣＰＵ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录：使用tensorflow的 with tf.device('/cpu:0'):函数。简单...

TensorFlow gpu java,CPU和GPU Tensorflow安装

weixin_32950005的博客

03-02

I'm very new with TensorFlow.I want to run my code on my CUDA gpu. So I've installed TensorFlow -gpu, after I've installed normal TensorFlow.How can I tell Python that it takes gpu based TensorFlow?解决...

sess.run()详解

Jq的博客

01-26

1万+

TensorFlow与我们正常的编程思维略有不同：先预定义一些操作/占位符构建graph，所有的操作op和变量都视为节点,TensorFlow中的语句不会立即执行；当构建完graph图后，需要在一个session会话中启动图，启动的第一步是创建一个Session对象。等到开启会话session的时候，才会执行session.run()中的语句。在执行session.run()时，tensorflow并不是计算了整个图，只是计算了与想要fetch的值相关的部分。创建session对象 tf.com

【tensorflow】 GPU 显存分配设置

zcw1234515的博客

05-11

1529

import os import tensorflow as tf config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.5 # 控制占用显卡最高显存为50%，这个提供多人使用 config.gpu_options.allow_growth = True # 设置动态分配GPU os.environ["CUDA_VIS.

关于tf.GPUOptions的一些参数

qq_53312564的博客

06-14

927

tensorflow.GPUOptions的部分参数

遇到问题: tensorflwow pytorch 控制gpu使用量指令

计算机视觉

11-06

895

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)TensorFlow设置GPU占用量：https://www.cnblogs.com/jiu0821/p/9501665.html 1 pytorch设置GPU占用量的指令是哪个？（未解决，）是这个p['momentum'] =0.9么？不是，这个是动量帮助...

深度学习怎么使用tensorflow-gpu==2.5.0