限制深度学习训练中GPU的显存使用

最新推荐文章于 2024-05-23 20:09:46 发布
最新推荐文章于 2024-05-23 20:09:46 发布
阅读量1.6k 收藏 1
点赞数 2
分类专栏： 深度学习 Tensorflow 文章标签： tensorflow GPU
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daoyone/article/details/103118427
版权

在tensorflow中，使用GPU训练模型会默认占有所有的显存，因此需要添加一些限制条件，使显存不会被全部占用。
1.分配GPU的显存

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))

2.按需分配显存

config = tf.ConfigProto()
config.gpu_options.allow_growth=True
sess = tf.Session(config=config)

3.限制GPU的使用数量

export CUDA_VISIBLE_DEVICES=1
storm岚
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch 限制GPU使用效率详解(计算效率)
12-17
在深度学习训练过程中，GPU的使用效率直接影响到训练速度。如果遇到GPU使用率周期性变化的问题，这通常是由于数据输入的瓶颈导致的。在TensorFlow中，可以使用`tf.data.Dataset.map(num_parallel_calls=8)`来并行...
tensorflow:指定gpu 限制使用量百分比,设置最小使用量的实现
09-18
在深度学习领域，TensorFlow 是一个广泛使用的开源库，它允许开发者构建和...这些技巧在处理大型模型或在多用户环境中使用GPU时尤其有用，它们能帮助你更有效地管理和优化GPU资源，从而提高计算效率和模型训练的速度。
深度学习如何指定GPU
weixin_42577735的博客
01-07 281
可以使用TensorFlow中的 tf.device 函数来指定使用的GPU。例如，要将运算放在第二块GPU上，可以这样写： with tf.device('/GPU:1'): # 运算 或者，如果希望TensorFlow自动分配可用的GPU，可以使用 tf.device('/GPU:*') 。 注意：在使用GPU之前，需要确保已安装CUDA和TensorFlow GPU版本。 ...
设置可见GPU，进行多显卡深度学习训练
机器学习杂货铺1号店
10-01 5628
在深度学习中，如果一台电脑具有多个NVIDIA的GPUs，用户想要在不同的GPU上训练不同的网络，那么在程序中指定占用的GPU的id，在python中如：import os os.environ["CUDA_DEVICE_ORDER"]="PCI_BUS_ID" # see issue #152 os.environ["CUDA_VISIBLE_DEVICES"]="0"即可指定GPU id为0
keras如何指定运行时显卡及限制GPU用量
最新发布
Oona_01的博客
05-23 98
需要注意的是，虽然代码或配置层面设置了对显存占用百分比阈值，但在实际运行中如果达到了这个阈值，程序有需要的话还是会突破这个阈值。这样如果有多个模型都需要使用GPU跑的话，那么限制是很大的，而且对于GPU也是一种浪费。因此在使用keras时需要有意识的设置运行时使用那块显卡，需要使用多少容量。这里指定了使用编号为2的GPU，大家可以根据需要和实际情况来指定使用的GPU。keras在使用GPU的时候有个特点，就是默认全部占满显存。以上的显存限制仅仅为了在跑小数据集时避免对显存的浪费而已。
深度神经网络模型训练时GPU显存不足怎么办？
一个努力吃胖的小瘦子的博客
04-03 9909
前言 最近跑的模型都比较大，尤其是Bert， 这真的是难为我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 来帮助我们加速训练，很良心， 但感觉还不够，于是花费一些时间整理出一个 Trick 集合，来帮助我们在显存不足的时候来嘿嘿嘿。 本文分为两大部分，第一部分引入一个主题：如何估计模型所需显存， 第二个主题：GPU显存不足时的各种 Trick 。 监控 GPU 监...
讲解pytorch 优化GPU显存占用，避免out of memory
牛肉胡辣汤
12-26 4033
"GPU out of memory"是指在使用GPU进行深度学习任务时，由于GPU显存不足，导致无法分配足够的显存空间来存储模型、数据和计算中间结果，从而导致程序运行失败。在深度学习任务中，对于复杂的神经网络和大规模的训练数据，显存占用成为一个常见的问题。当我们的模型和数据超出GPU显存的限制时，就会出现"out of memory"的错误。为了解决这个问题，我们可以采取一些优化策略来降低显存的占用。通过上述这些优化策略，我们可以有效地降低GPU显存的占用，避免"out of memory"错误的发生。
CUDA out of memory（CUDA显存不足）
热门推荐
yangyalun的博客
07-21 1万+
1.查看CUDA使用情况。 在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi.exe -l 1，可每秒更新CUDA使用情况，如图所示。 2.本机的CUDA显存为2048MiB，当前使用为67MiB，运行模型后，发现当前CUDA使用情况超过2048MiB，解决方法为减小batch_size的大小（减小后结果可能会变差），若减小batch_size后CUDA显存还是不足或者是结果很差，那么就放弃使用GPU，使用CPU就行了。
多节点训练-Pytorch单机多GPU训练方法示例与教程-附详细教程说明-超优质项目分享.zip
02-19
- 考虑到内存限制，可能需要调整批大小以适应GPU的显存。 - 为避免梯度累积误差，使用`model.module`而非`model`来访问内部模块，因为`DataParallel`和`DistributedDataParallel`会包装模型。 - 分布式训练时，...
解决Tensorflow占用GPU显存问题
12-20
在使用TensorFlow进行深度学习模型训练时，遇到GPU显存管理问题是非常常见的。尤其是在将PyTorch模型转换为TensorFlow模型后，可能会发现TensorFlow会默认占用所有可用的GPU显存，即使模型本身并未完全利用这些资源...
[tf] config.gpu_options.allow_growth=True
weixin_43742643的博客
11-22 5773
默认开启 Tensorflow 的 session 之后，就会占用几乎所有的显存，这样的话速度会比较快。 使用allow_growth option，刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放 内存，所以会导致碎片。 config = tf.ConfigProto() config.gpu_options.allow_growth = True set_session(tf.Session(config=config)) ...
深度学习---GPU的设置
songchunxiao1991的博客
09-05 1万+
GPU设置的方法有两种： 1、使用Python指定GPU （1）在使用之前，首先要查看GPU的占用情况，使用命令：nvidia-smi。 左侧的0,1,2,3的编号代表GPU的编号，在后面设置GPU时会用到。可以看出1卡和2卡是处于占用状态，使用的时候，就可以使用0卡和3卡。 Note：查看正在执行的Python进程时，使用命令：ps -aux|grep python。 （2）...
Tensorflow：GPU相关设置问题
Loong Cheng的博客
05-08 3737
目录 1.在运行之前先查看GPU的使用情况： 2.指定GPU训练： 方法一、在python程序中设置： 方法二、在执行python程序时候： 方法三、推荐 3.两种限定GPU占用量的方法： 方法一、设置定量的GPU显存使用量: 方法二、设置最小的GPU显存使用量，动态申请显存:（建议） 方法三，1和2兼顾 4.将数据的处理使用多线程的queue在CPU上进行，使得GPU随时都有...
[3D数据深度学习] （PC/服务器集群cluster）CPU内存/GPU显存限制及解决办法
qq_38736504的博客
12-20 3112
3D数据的深度学习目前研究远不如2D深度学习成熟，其中最大的一个原因之一就是收到硬件条件的限制。对于3D数据的深度学习，我们会分析其在CPU内存和GPU显存两方面的限制，希望大家能够充分利用自己的资源进行深度学习。
【使用 jupyter notebook 进行网络训练时显存不足，设置GPU占用率】
m0_57190374的博客
10-13 2358
使用jupyter notebook进行网络训练时显存不足，设置GPU占用率
GPU占显卡很大内存时，设置限制GPU的用量
liumoude6的博客
09-18 9743
当显卡内存饱满时   指定显卡 1、设置使用GPU的百分比 import tensorflow as tf import keras.backend.tensorflow_backend as KTF #进行配置，使用30%的GPU config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction ...
allow_growth控制tensorflow显存动态增长 无效问题
豆芽菜
09-10 2428
问题：tensorflow1.15环境使用config.gpu_options.allow_growth = True，控制显存动态增长，发现无效，显存仍然会被完全占用 config = tf.ConfigProto() config.gpu_options.allow_growth = True tf.keras.backend.set_session(tf.Session(config=config)) 分析：暂未找到原因，类似问题：gpu_options doesn't work · Issue
2021年5月总结：小tips
qq_42825221的博客
05-11 256
1. matplotlib中如何将图例排成多列？ plt.legend(ncol=2) #ncol参数可以设置，如成两列 2. python 列表降维_如何给列表降维？ oldlist = [[1, 2, 3], [4, 5]] newlist = [1, 2, 3, 4, 5] # 法1 newlist = oldlist[0] + oldlist[1] # 法2 newlist = [i for j in range(len(oldlist)) for i in oldlist[j]] # 法3 n
tensorflow gpu_Tensorflow多GPU使用详解
weixin_39833270的博客
11-24 336
欢迎大家关注我们的网站和系列教程：http://www.tensorflownews.com/，学习更多的机器学习、深度学习的知识！也可以搜索：磐创AI，关注我们的文章。作者：fendouai目录：介绍记录设备状态手动分配状态允许GPU内存增长在多GPU系统是使用单个GPU使用多个 GPU一． 介绍在一个典型的系统中，有多个计算设备。在 TensorFlow 中支持的设备类型包括 CPU 和 GP...
GPU内存不足？掌握这些策略训练大型神经网络
首先，文章提到了微软的DeepSpeed框架，这是一个针对深度学习训练的优化工具，能够显著提高训练速度并优化内存使用。通过该框架，即使硬件限制，也能训练包含1000亿（100B）参数的模型。DeepSpeed采用的技术包括混合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

storm岚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值