深度学习模型降低GPU显存使用的方法

最新推荐文章于 2025-03-30 14:51:55 发布
最新推荐文章于 2025-03-30 14:51:55 发布
阅读量3.1k 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c2250645962/article/details/102582219
版权
  1. 减小Batch_size
  2. 优化网络结构，或者改用深度可分离卷积代替常规卷积核，较小参数数量
  3. 选择更小的数据类型
    一般默认情况下， 整个网络中采用的是32位的浮点数，如果切换到 16位的浮点数，其显存占用量将接近呈倍数递减
  4. 做梯度累积，将loss划分为n，即loss = loss / n
    当执行完n步再进行梯度更新

https://blog.csdn.net/zhuiqiuk/article/details/90973240

GPU加速深度学习模型的性能和性能和能耗降低
AI天才研究院
07-13 3505
作者：禅与计算机程序设计艺术 《83. GPU加速深度学习模型的性能和性能和能耗降低》 引言 1.1. 背景介绍 深度学习模型在人工智能领域取得了非常重要的突破，但传统的中央处理器（CPU）和
OpenCV与AI深度学习 | 如何在 Docker 容器中使用 GPU
csdn_xmj的博客
12-05 1059
在计算机上配置 GPU 可能非常困难。配置步骤会根据计算机的操作系统和计算机所具有的 NVIDIA GPU 类型而变化。更难的是，当 Docker 启动容器时，它几乎需要从头开始。在本文中，我们将介绍在 Docker 容器内访问机器 GPU 所需的步骤。
搭建深度学习网络时节约GPU显存的技巧
爱在深秋
08-10 944
一、前言。
【深度学习】模型训练时减少GPU显存占用
藓类少女的博客
11-21 1540
在深度学习中，大的批量大小（batch size）可以提高模型性能和稳定性，但直接增大批量大小需要更多的显存。混合精度训练通过在深度学习模型的训练过程中，将部分数据和计算从 32 位浮点数（FP32）转换为 16 位浮点数（FP16），从而显著减少显存使用并提高训练速度。在深度学习中，大部分计算可以在更低的精度（FP16）下完成，而不会影响训练的准确性和稳定性。在深度学习中，反向传播需要保留前向传播过程中生成的中间激活值（activations）来计算梯度。在混合精度训练中，使用。
深度学习降显存
lien0906的专栏
06-06 1800
(1)  模型压缩 （2）网络参数调整           比如减小训练图像大小，降低FC output个数，使用小的conv kernel size等。 （3）深度学习框架调整 （4）减层
深度学习训练降低显存指南
Zjhao666的博客
06-04 3442
一、小模块API参数inplace设置为True 比如：Relu()有一个默认参数inplace，默认设置为False，当设置为True时，通过relu()计算时的得到的新值不会占用新的空间而是直接覆盖原来的值，这也就是为什么当inplace参数设置为True时可以节省一部分内存的缘故。 ...
GPU显存释放
qq_36184671的博客
06-12 9538
1 有些时候深度学习程序会异常退出，导致GPU显存无法释放，再进行资源计算时，就会报错，这时候需要显式释放缓存 可用命令fuser -v /dev/nvidia* ，然后kill ...
免费使用阿里天池GPU深度学习.pdf
01-18
这种方法使得用户可以轻松地将自己编写的代码库与阿里天池的环境相结合，进行深度学习模型的训练。 除了基础的模块导入，用户还可以利用阿里天池提供的运算力进行模型的构建、训练、调优以及结果的验证。在深度学习...
深度学习篇---模型GPU训练
最新发布
道阻且长，行则将至。
03-30 1185
本文简单介绍了paddlepaddle、pytorch框架下使用GPU进行模型训练的步骤以及注意事项，同时介绍了Openmp以及相应问题的解决。
PaddleOCR训练时内存溢出解决办法暂列，PaddleOCR训练Python程序没反应，显卡功耗低，显存很高
小灰的博客
12-23 6545
现象 在使用过程中我经常会发现一个现象就是，我的程序会卡住，如果观察显卡的显存，你会发现显存占用了，但是功耗下去了，程序是没有在运行的入下图所示 nvidia-smi指令显示的如下 然后发现程序一直卡在这里，一点反应都没有，我是比较懵逼的 之前在PaddleOCR GitHub给的例程中，我尝试跑ICDAR2015，一开始出现过这个现象，我就尝试将batch_size调小了，你会发现确实有效果的，我的1200次也跑完了，但是我更换到ICDAR2019-LSVT之后发现，就非常容易崩，我心态也崩了，我甚至
NN模型设置--减小训练时的内存/显存占用
wydbyxr的博客
12-04 2147
1）kennel_stride   一种技术是使用较大的步幅来进行卷积内核，也就是说，我们应用不是每个像素的平铺卷积，而是每两个或四个像素（stride为2或4），以便产生较少的输出数据。   这通常用于输入层，因为这些使用大部分内存。   当然，大stride通常是配合大的kenel_size一起使用；而使用大的kenel_size是为了扩大感受野。   为什么在第一层的stride要这么大？ ...
Pytorch有什么节省内存（显存）的小技巧？
zenRRan的博客
10-27 925
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢编辑：忆臻https://www.zhihu.com/question/341336919本文仅作为...
python调用ctypes接收显存指针_Pytorch释放显存占用方式
weixin_39970668的博客
12-19 527
如果在python内调用pytorch有可能显存和GPU占用不会被自动释放，此时需要加入如下代码torch.cuda.empty_cache()我们来看一下官方文档的说明Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GP...
深度学习训练中的GPU利用率和显存占用问题、num_workers&batch_size设置问题
weixin_46515047的博客
03-26 1万+
目录前言GPU显存GPU利用率batch_size不能选取过大来占据显存总结 前言 在跑数据集时碰到了GPU利用率浮动的问题，上网查了查解决方案。随手看了一下相关内容。。。深度学习就那么几个参数，调多了总能碰到合适的吧。 但我的GPU利用率浮动问题仍然没解决（50%-100%之间） GPU显存 占GPU显存的主要是两部分，一是模型网络的加载，而是batch_size大小的设置。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out
pytorch 关于显存增长原因以及显存占用优化
qq_36401512的博客
07-16 1万+
ps:师傅希望想tensorflow一样设置GPU占用（tf.GPUOptions），但事实情况是好像pytorch根本就没有相关函数来设置（如８Ｇ显存我只用2G,来跑是否可行） 1.网上很多攻略关于pytorch 训练时显存持续增长的问题 其实这个问题主要出现在0.4之前的版本，在累加loss时用的是loss_sum+=loss，而非loss_sum+=loss.data[0].因...
【问题探究】如何解决pytorch训练时的显存占用递增（导致out of memory）
热门推荐
fish_like_apple的博客
09-26 2万+
前言： { 现在的神经网络模型，动不动就爆内存。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch训练时，显存占用竟然会不断增加，可能刚开始训练时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 } 正文： ...
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）
hecongqing的博客
04-21 2014
一只小狐狸带你解锁 炼丹术&NLP秘籍作者：夕小瑶、rumor酱前言虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今...
卷积神经网络降低显存消耗方法(可分离卷积Separable Convolution，Pytorch代码示例)
xiaoxifei的专栏
02-27 5548
卷积神经网络中的Separable Convolution 卷积网络运算中非常消耗显存，除了从框架本身考虑节省显存外，也可以从计算方式来入手，这里分享一篇讲分离卷积计算的博客(https://yinguobing.com/separable-convolution/#fn2) 常规的卷积运算 假设输入为64643的这样一个彩色图片，经过一个包含有4个filter的卷积层，最终输出4个通道，设定每一...
深度学习时GPU显存利用率高但是GPU利用率低的解决办法
HappierRaining
11-25 1万+
代码中添加: import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VISIBLE_DEVICES"] = "0" //这里是自己的GPU编号，我是"0",原文是"8".
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值