[tf] config.gpu_options.allow_growth=True

最新推荐文章于 2022-10-13 08:54:17 发布
最新推荐文章于 2022-10-13 08:54:17 发布
阅读量5.7k 收藏 6
点赞数 1
分类专栏： TensorFlow 文章标签： gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43742643/article/details/121467156
版权

默认开启 Tensorflow 的 session 之后，就会占用几乎所有的显存，这样的话速度会比较快。

使用allow_growth option，刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放
内存，所以会导致碎片。

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
set_session(tf.Session(config=config))
hanjialeOK
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
检测tf是否使用GPU
weixin_40632944的博客
11-26 1649
测试tensorflow是否使用GPU import tensorflow as tf version = tf.__version__ gpu_ok = tf.test.is_gpu_available() print("tf version:",version,"\nuse GPU",gpu_ok) ========================================...
深度学习---GPU的设置
songchunxiao1991的博客
09-05 1万+
GPU设置的方法有两种： 1、使用Python指定GPU （1）在使用之前，首先要查看GPU的占用情况，使用命令：nvidia-smi。 左侧的0,1,2,3的编号代表GPU的编号，在后面设置GPU时会用到。可以看出1卡和2卡是处于占用状态，使用的时候，就可以使用0卡和3卡。 Note：查看正在执行的Python进程时，使用命令：ps -aux|grep python。 （2）...
Tensorflow：GPU相关设置问题
Loong Cheng的博客
05-08 3672
目录 1.在运行之前先查看GPU的使用情况： 2.指定GPU训练： 方法一、在python程序中设置： 方法二、在执行python程序时候： 方法三、推荐 3.两种限定GPU占用量的方法： 方法一、设置定量的GPU显存使用量: 方法二、设置最小的GPU显存使用量，动态申请显存:（建议） 方法三，1和2兼顾 4.将数据的处理使用多线程的queue在CPU上进行，使得GPU随时都有...
【使用 jupyter notebook 进行网络训练时显存不足，设置GPU占用率】
m0_57190374的博客
10-13 2306
使用jupyter notebook进行网络训练时显存不足，设置GPU占用率
allow_growth控制tensorflow显存动态增长 无效问题
豆芽菜
09-10 2370
问题：tensorflow1.15环境使用config.gpu_options.allow_growth = True，控制显存动态增长，发现无效，显存仍然会被完全占用 config = tf.ConfigProto() config.gpu_options.allow_growth = True tf.keras.backend.set_session(tf.Session(config=config)) 分析：暂未找到原因，类似问题：gpu_options doesn't work · Issue
tensorflow没有调用GPU的问题排查
热门推荐
点典的博客
08-05 2万+
暑假在陈灯老师的实验室里做实验，安装 环境时遇到不少困难，做个记录。 实验配置：Ubuntu18.042 + 两块1080ti + cuda9.0 + cudnn7.5.0+anaconda3 PS:查看版本的命令行： cuda： cudnn：$ cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 tensorflow：终端...
TensorFlow 显存使用机制详解
12-20
config.gpu_options.allow_growth = True session = tf.Session(config=config) ``` 然而，需要注意的是，一旦分配了内存，TensorFlow不会自动释放，以防止内存碎片的产生。 2. **per_process_gpu_memory_...
浅谈多卡服务器下隐藏部分 GPU 和 TensorFlow 的显存使用设置
09-16
config.gpu_options.allow_growth = True session = tf.Session(config=config, ...) ``` 对于使用Keras并以TensorFlow作为后端的情况，设置显存管理策略略有不同： ```python import tensorflow as tf from ...
tensorflow指定GPU与动态分配GPU memory设置
12-20
这里的`tf.ConfigProto()`创建了一个配置对象，通过`config.gpu_options.allow_growth = True`，我们可以让TensorFlow在运行过程中按需动态增长GPU内存，而不是一开始就分配所有可用内存。这样可以更有效地利用GPU...
Keras - GPU ID 和显存占用设定步骤
09-16
config.gpu_options.allow_growth = True session = tf.Session(config=config) ktf.set_session(session) ``` 此外，还可以通过设置`per_process_gpu_memory_fraction`来限制每个进程对GPU显存的最大占用率。例如...
tensorflow指定CPU与GPU运算的方法实现
09-17
你也可以在创建`ConfigProto`时直接设置`gpu_options`，如`gpu_options = tf.GPUOptions(allow_growth=True)`。 4. **固定GPU内存分配** 另一种方法是为每个GPU分配固定的内存。这可以通过设置`gpu_options.per_...
tf.ConfigProto()详解
Jq的博客
02-21 7259
tf.ConfigProto()主要的作用是配置tf.Session的运算方式，比如gpu运算或者cpu运算 参数： 参数 作用 log_device_placement 是否打印设备分配日志 inter_op_parallelism_threads 设置线程一个操作内部并行运算的线程数，比如矩阵乘法，如果设置为０，则表示以最优的线程数处理 intra_op_parallelism_threads 设置多个操作并行运算的线程数，比如 c = a + b，d = e + f . 可以并
tensorflow基本操作
qq_43655307的博客
12-08 1391
一、图使用设置 import os import tensorflow as tf # True:当GPU不存在或者程序中出现GPU不能运行的代码时，自动切换到CPU运行 tf_config = tf.ConfigProto(allow_soft_placement=True) # 按照PCI_BUS_ID顺序从0开始排列GPU设备 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # 值为'0,1'表示按顺序使用'/gpu:0'、'/gpu:1',值为'0'
【tensorflow】设置显存开销
JNing
03-13 349
问题 一般大家在跑tf时，单个程序往往会占满整块GPU的所有显存。 但是实际上，程序很可能并不需要那么大的显存空间。 改进方案 通过 tf.ConfigProto().gpu_options.allow_growth=True来告诉程序，只需占用实际所需的显存即可： # ---------------- session ---------------- config = tf.ConfigProt...
AttributeError: module ‘tensorflow‘ has no attribute ‘GPUOptions‘
qq_36783848的博客
12-10 5195
AttributeError: module ‘tensorflow’ has no attribute ‘GPUOptions’ 报错原因 Tensorflow 1.X和 2.X不兼容。 Tensorflow 1.X： gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction) Tensorflow 2.X： gpu_options =tf.compat.v1.GPUOptions(per_process_gpu_memory_fractio
tensorflow 1.14指定gpu运行设置
qq_15821487的博客
07-06 1295
注意：allow_soft_placement=True表明：计算设备可自行选择，如果没有这个参数，会报错。 因为不是所有的操作都可以被放在GPU上，如果强行将无法放在GPU上的操作指定到GPU上，将会报错。
tensorflow-gpu分配显存tf.ConfigProto和tf.GPUOptions
Muzi_Water的博客
03-05 2223
初次使用tensorflow-gpu时用的sess = tf.Session()启动图，这时总报如下错误 但是程序逻辑是没有问题的，后来发现是需要为其分配显存，因此需要将sess = tf.Session()改为： config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config...
Keras指定GPU训练模式，设置GPU的使用量
Together_CZ的博客
06-11 1050
最近又要用到深度学习模型训练这块的内容了，之前有些操作都忘记了，这里就想着把这些内容记录一下备忘。 我们使用的是阿里云GPU服务器，由于有多个进程同时在训练计算，这里需要限定单个进程里面的GPU使用量， 因为我只有一块显卡，所以这里指定GPU的编号都是 0 ，设定GPU使用量经常用到的方式主要有一下三种： 1、直接指定GPU的使用比例 import os import tensorflow as tf import keras.backend.tensorf...
TensorFlow Session 中关于 GPU 的配置项解析 ——转自 慢慢学TensorFlow 微信公众号
dxmkkk的博客
02-07 1万+
之前困扰笔者很久的一个 TensorFlow 问题就是显存占用太高，跑一个最简单的 MNIST 例程居然就能把整个 GTX 1080 显存用满！导致其他需要使用 GPU 的程序运行时出现 Out of Memory 的错误。本文将介绍如何在创建 TensorFlow Session 对象时进行 GPU 相关设置避免上述问题。 TensorFlow 0.12 源码中提供了一个 al
解释代码batch_data, id_to_tag, tag_to_id, char_to_id = self._data_preprocess(self.config.train_file, self.config.zeros, True) self.logger.info('train data prepare done') dev_batch_data, _, _, _ = self._data_preprocess(self.config.dev_file, self.config.zeros, False, char_to_id, tag_to_id) print("dev_batch_data",dev_batch_data) self.logger.info('dev data prepare done') self.logger.info('start train......') batch_len = len(batch_data) tf_config = tf.ConfigProto() # tf_config.gpu_options.allow_growth = True 这个是动态允许使用gpu空间 tf_config.gpu_options.per_process_gpu_memory_fraction = 0.8
最新发布
06-02
这段代码是一个 Python 类的初始化函数，用于将训练和开发数据进行预处理，并配置 TensorFlow 的 GPU 使用。 在这段代码中，`self.config.train_file` 和 `self.config.dev_file` 是训练和开发数据的文件路径。`self.config.zeros` 是一个布尔值，表示是否将数据中的数字替换为零。`True` 表示要进行替换。 `batch_data` 是处理后的训练数据，`id_to_tag` 和 `tag_to_id` 是标签的映射关系，`char_to_id` 是字符的映射关系。 `dev_batch_data` 是处理后的开发数据，`_` 是无用的变量，因为在开发数据中不需要进行标签和字符映射。 `batch_len` 是训练数据的批次数。 `tf.ConfigProto()` 是 TensorFlow 的配置对象。`tf_config.gpu_options.per_process_gpu_memory_fraction = 0.8` 表示将 GPU 内存的使用限制在 80% 以内。`tf_config.gpu_options.allow_growth = True` 表示动态允许使用 GPU 空间，但这行代码被注释掉了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值