TensorFlow2设置显存按需分配

最新推荐文章于 2024-07-04 11:46:18 发布
最新推荐文章于 2024-07-04 11:46:18 发布
阅读量1k 收藏 1
点赞数
分类专栏： 深度学习 文章标签： tensorflow 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_L_Fighting/article/details/120227664
版权

在用TensorFlow进行深度学习时，容易遇到显存爆满的情况。
如下：

numpy.core._exceptions.MemoryError: Unable to allocate 359. MiB for an array with shape (60000, 28, 28) and data type float64

解决方案就是设置TensorFlow2设置显存按需分配

gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu, True)
追梦少年ML
关注
专栏目录
TensorFlow深度学习设置显存占用率
half_lemon_c的博客
11-21 2171
在使用TensorFlow深度学习的时候，会默认占用最大显存，如何设置显存占用率，总结如下：I. 两种方法查看显存使用情况II. 设置TensorFlow显存占用率III. 代码插入位置IV. 使用对比V. 参考资料 I. 两种方法查看显存使用情况 方法1：CMD窗口中输入命令nvidia-smi 方法2： 使用软件AIDA64（推荐），实时监测电脑硬件使用情况 电脑闲置可用显存为7443 MB。 II. 设置TensorFlow显存占用率 1. 按需动态分配显存（更灵活） config = t
Tensorflow设置显存自适应,显存比例的操作
09-18
在 TensorFlow 中，`config.gpu_options.allow_growth=True` 这一设置允许 TensorFlow 在运行过程中动态分配和释放 GPU 显存，而不是一开始就预分配所有可用显存。这种自适应策略能够根据模型的运行情况，逐步增加...
tensorflow_keras+GPU显存按需分配.doc
09-16
tensorflow_keras+GPU显存按需分配
tensorflow2 设置显存按需增长
秋叶原的黑猫的博客
04-01 1830
关于tensorflow2如何使用GPU，网上有很多方法，包括但不限于： 方法一：指定某块GPU import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" 实际使用中我只能指定CUDA_VISIBLE_DEVICES的参数为“2”，指定其他参数报错。但即便如此，跑代码的时候还是没有用到GPU。 方法二：使用configproto()方法，控制GPU显存使用比例 import tensorflow as tf from keras.backend.tensorfl
高效管理 TensorFlow 2 GPU 显存的实用指南
最新发布
.
07-04 1140
在使用 TensorFlow 2 进行训练或预测时，合理管理 GPU 显存至关重要。未能有效管理和释放 GPU 显存可能导致显存泄漏，进而影响后续的计算任务。在这篇文章中，我们将探讨几种方法来有效释放 GPU 显存，包括常规方法和强制终止任务时的处理方法。在使用 TensorFlow 2 进行训练或预测时，合理管理和释放 GPU 显存至关重要。通过重置默认图、限制显存使用、手动释放显存以及使用with语句管理上下文，可以有效地避免显存泄漏问题。在需要强制终止任务时，使用模块和os。
TensorFlow2.x 设置显存使用
YaoJiawei329的博客
04-08 918
记录一下使用TensorFlow遇到的第一个坑——显存管理。最开始不知道这个东西，每次跑完一遍都得重启…学习了Aurelier Geron的<<Hands-on Machine Learning with Scikit-learn, Keras & TensorFlow>>的第十九章才知道是咋回事。 原文截图： 按着我的习惯，是先开一个terminal用于监控显存使用，每秒刷新一次。 watch -n 1 nvidia-smi 在训练的时候，TensorFlow默认会用尽所
tensorflow2.0 GPU显存设置
胭脂草的ABC博客
08-08 2768
遇到一个问题： 新买显卡显存8G但是tensorflow运行的时候界面显示只有约6.3G的显存可用，如下图： 即限制了我的显存，具体原因为什么我也不知道，但原来的显存小一些的显卡就没有这个问题。 目前的解决办法是：官方文档解决然后对应的中文博客 总结一下，就是下面的两个办法： 设置每次使用时按需申请 # 获取所有GPU组成list gpus = tf.config.experimental.list_physical_devices('GPU') # 设置按需申请 # 由于我这里仅有一...
解决Tensorflow占用GPU显存问题
12-20
2. **按需使用显存**： 另一种方法是让TensorFlow动态地分配GPU显存，而不是一开始就全部预分配。这可以通过设置`allow_growth`为`True`来实现。以下是相应的代码示例： ```python from tensorflow.compat.v1 ...
tensorflow指定GPU与动态分配GPU memory设置
12-20
这里的`tf.ConfigProto()`创建了一个配置对象，通过`config.gpu_options.allow_growth = True`，我们可以让TensorFlow在运行过程中按需动态增长GPU内存，而不是一开始就分配所有可用内存。这样可以更有效地利用GPU...
Tensorflow显存占用情况
qq_43532776的博客
06-29 1306
Tensorflow 显存占用情况 在tensorflow中，如果不设置显存占用方式，那么默认会占用全部显存。这里将Tensorflow的显存使用方式设置为按需分配，观测其真实占用得而GPU显存资源情况，代码如下： # 代码参考 Tensorflow P219页 # 获取所有GPU设备列表 gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: # 设置 GPU 显存占用为按需分配，增长式 for gpu in
TensorFlow指定GPU设备、分配显存
热门推荐
Im_Chenxi的博客
05-09 1万+
一、使用GPU加速运算        1.TensorFlow程序中可以通过tf.device函数来指定运行的设备。          CPU名称为"/cpu:0"，即使有多个CPU，所有的CPU都使用/cpu:0作为名称。          GPU则不同，是"/gpu:n"，n可替换。n=0，即是第一个GPU，以此类推。        2.观察每个运算所用的设备：          使用log_...
tensorflow中显存分配
weixin_44738399的博客
03-21 468
【代码】【无标题】
tensorflow显存自适应分配（tf.1x和tf2.x）
荪荪的博客
06-19 2334
用tensorflow的同学肯定都知道，只要tf的程序运行起来就会默认占满显存，但实际上有些代码使用的数据量远远不需要使用全部显存，这样就造成了浪费，我们可以在代码前加上一些控制语句，使程序占用的显存智能一些。 # 指定显卡 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" ...... # tf1.x version # # 按比例配置显存 config = tf.ConfigProto() config.gpu_options.per_proce
tensorflow-gpu设置显存占用情况（Memory-Usage）
m0_55621747的博客
10-26 399
每次在服务器跑深度学习代码，我的数据量很小。但是内存直接占满。如下图可以设置内存占用情况。
tensorflow学习---GPU按需分配内存
huiqiangkkx的博客
02-22 491
GPU按需分配内存 将下面这段代码放到模型最前面 import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: # Restrict TensorFlow to only use the first GPU try: for i in range(len(gpus)): tf.config.experimental.set_memory_growth(gp
Tensorflow的GPU分配方法
looknm的专栏
08-03 1926
Tensorflow、多个GPU
Tensorflow2数据集过大，GPU内存不够
darlingqx的博客
10-09 2700
在我们平时使用tensorflow训练模型时，有时候可能因为数据集太大(比如VOC数据集等等)导致GPU内存不够导致终止，可以自制一个数据生成器来解决此问题。方法就是将数据集图片的路径保存到一个列表之中，然后使用while循环在训练时进行不断读取，，我在训练时出现了这样的问题，这是我的猜测。
tensorflow加载模型到指定GPU按需分配显存
05-09
在 TensorFlow 中，可以通过 `tf.config.experimental.set_visible_devices()` 方法来设置可见的 GPU 设备，并使用 `tf.config.experimental.set_memory_growth()` 方法来动态分配显存。 以下是一个示例代码，加载...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值