解决网络训练正常、测试显存爆炸的问题（model.eval()和torch.no_grad()的区别）

最新推荐文章于 2023-01-15 09:08:30 发布
最新推荐文章于 2023-01-15 09:08:30 发布
阅读量4.5k 收藏 16
点赞数 13
分类专栏： pytorch 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43818631/article/details/119141450
版权
当网络训练过程显存使用正常，但在测试阶段遇到显存爆炸问题，可能源于测试图像尺寸过大。通过使用`model.eval()`和`torch.no_grad()`可以有效管理显存。`model.eval()`禁用Batch Normalization和Dropout，确保BN层使用全局统计信息，而`torch.no_grad()`则关闭梯度计算，节省显存和计算资源，不影响测试精度。
摘要由CSDN通过智能技术生成

问题分析：

网络训练时正常，但测试中途却出现显存爆炸时。训练网络基本快占满了一张卡，这样测试时是有可能会显存爆炸。因为可能由于某张图测试的时候需要更大的显存，图像输入偏大等不确定因素。但测试的时候可以以更少的显存进行测试的(eg:例如之前测试时11g显存会爆炸,使用后仅用了2g多)。那就是使用with torch.no_grad()语句。测试代码修改大体如下所示：

model.eval()
for i, image in enumerate(testLoader):
    # ...... (省略代码)
	with torch.no_grad(
最低0.47元/天 解锁文章
诸神黄昏的幸存者
关注
  • 13
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
pytorch 训练正常,测试显存爆掉问题解决
RZJMPB的博客
01-03 6346
pytorch 训练正常,测试显存爆掉问题解决Intropytorch versioncudnn versionpytorch训练正常但是在预测的时候显存爆掉,错误信息如下暂时解决方法:[参考链接](https://discuss.pytorch.org/t/strange-gpu-memory-behavior-strange-memory-consumption-and-out-of-memo...
pytorch:model.train和model.eval用法及区别详解
09-17
在PyTorch中，`model.train()`和`model.eval()`是两个非常关键的方法，它们用于在训练和评估模型时切换不同的运行模式。理解这两者之间的差异对于有效地训练和测试深度学习模型至关重要。 首先，`model.train()`...
训练时正常，在验证时会爆显存的解决办法——with torch.no_grad():
qq_49230659的博客
08-18 2513
最近在训练的时候，训练还正常，但在每个epoch训练之后的验证过程中会爆显存，在网上查阅资料之后，得知一个这样的方法： with torch.no_grad(): 这个函数加在model.eval()后面一行就行了，作用是在验证时禁止反向传播，亲测有效。 ...
一训练就显存爆炸？Facebook 推出 8 比特优化器，两行代码拯救你的显存！
夕小瑶科技说
11-11 2006
文 | jxyxiangyu编 | 小轶“小夕，小夕！又出来了个 SOTA 模型！赶紧 follow ！”小夕看了看新模型的参数量， 然后看了看实验室服务器的几张小破卡。小夕，陷入了沉默。...
解决pytorch训练时正常测试时爆显存的问题
qq_34597253的博客
10-28 3348
问题： Runtime Error: CUDA out of memory. 解决方案： 1.降低batch_size, 有时候管用，有时候不管用 2. 测试时，with torch.no_grad() def early_test(self): with torch.no_grad(): self.model.eval() for path i...
tensorflow2总是爆显存的问题
不平凡之路
03-12 5442
最近在研究tensorflow2，在win环境下装了gpu版本，效率是高很多，但是出现几次爆显存的情况，就是显存被占满了，甚至机子直接黑屏的情况，查了一下资料，tensorflow默认是分配全部显存的，所以会导致显存爆掉。当然可以通过设置来调整： import os os.environ["TF_FORCE_GPU_ALLOW_GROWTH"] = "true" 实测，设置之后确实不存在爆显...
训练模型时候显存爆炸的一种可能性以及解决办法
qq_38331273的博客
04-29 3005
转载：https://wstchhwp.blog.csdn.net/article/details/108405102 模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作。 今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference，这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。加了之后，用了不过3G显存就够了。确实inference不
pytorch掉坑记录:model.eval的作用说明
09-16
如果不调用`model.eval()`，即使在测试阶段，模型仍然保持在训练模式，这可能导致一些问题。例如，如果测试数据的批次大小很小，Batch Normalization层可能会由于批次内的数据不足以代表整体数据分布而导致预测结果...
STM3210C-EVAL.rar_1728389_STM3210C _STM3210C-EVAL_STM3210C-EVAL_
09-23
STM3210C-EVAL是一款基于STM32系列微控制器的评估板，由意法半导体（STMicroelectronics）设计，用于开发和测试STM3210C微控制器的功能。这个压缩包文件包含了与STM3210C-EVAL相关的详细代码，这些代码已经过测试并...
train正常，evaluation的时候GPU爆炸？？？代码工整的谎言
weixin_43301333的博客
02-27 1021
快半个月前遇到的问题了，还是记录一下 问题描述 在用LG训练的时候，train_batch_size=8,eval_batch_size=4。按道理这种情况下GPU占用峰值停留在train, 而eval的时候应该很低才对，因为没有计算图的accumulate，GPU上只包括model和data。 但是问题就是出现的那么惊悚，我在训练的时候老是炸显存，而且每次炸的时候都是在eval.后来继续调小train和eval的batch_size，居然发现eval的时候显存占用居然是train的2倍左右，而test的时
关于模型训练中显存占用过大的或直接报显存爆炸的解决方法
阿杜的博客
04-03 6021
模型训练显存爆炸解决方法 在模型训练中，应该理解梯度、反向传播、图层、显存这些概念，在模型训练过程中，一般会分为训练+验证+测试 ，在这些过程中，一般在训练过程中会比较占用显存，因为涉及到反向传播，需要大量的梯度，这些数据又存放在显存中。 在今天模型的训练中，突然发现可以训练，但是在验证过程中出现显存爆炸炸，提示我显存不足，我就很纳闷，一直在找问题，终于发现了： 在我的训练代码中： for epoch in range(0, epoch_num): net.train()
解决神经网络训练过程中加载大文件造成的内存、显存爆炸的情况
pursuingparadise的博客
11-02 2534
最近在跑模型时因为用BERT预训练模型提取评论文本的动态词向量，对于6000个用户，每个用户12条评论，每条评论202个单词，768维的向量大约有40G，如果直接提取，无论是内存还是显存都吃不下，而且如果在模型中一条条提取的话，huggingface开发的transformers虽然可以做到，但预训练模型会在显存中占据2.2G的显存，我的显卡（1080ti 11G显存）在占据2.2G后可以跑的模型batch只有2，无疑会造成速度慢、泛化能力差等问题。 我的解决思路是把600012202*768的向量存到不
Pytorch模型测试时显存一直上升导致爆显存
dong_liuqi的博客
07-30 1万+
问题描述 首先说明: 由于我的测试集很大, 因此需要对测试集进行分批次推理. 在写代码的时候发现进行训练的时候大概显存只占用了2GB左右, 而且训练过程中显存占用量也基本上是不变的. 而在测试的时候, 发现显存在每个batch数据推理后逐渐增加, 直至最后导致爆显存, 程序fail. 这里放一下我测试的代码: y, y_ = torch.Tensor(), torch.Tensor() for batch in tqdm(loader): x, batch_y =
Pytorch 测试阶段显存溢出
weixin_41514525的博客
02-07 1215
Pytorch模型训练的测试阶段, 显存溢出，训练阶段并没有显存溢出，原因: 没有使用 with torch.no_grad()，model.eval()只是使dropout和bn不工作，并不能产生torch.no_grad()的效果 with torch.no_grad(): 测试阶段代码 ...
解决pytorch训练时的显存占用递增的问题
weixin_45928096的博客
01-15 6355
在pytorch训练过程中突然out of memory。 解决方法： 1. 设置 torch.no_grad(): 2. loss.item() 3. 在代码中添加以下两行： torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True 4. del操作后再加上torch.cuda.empty_cache() 补充：Pytorch显存不断增长问题的解决思路
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案
热门推荐
xiaoxifei的专栏
11-23 6万+
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of...
【踩坑】深度学习 Torch 爆显存的原因（显存不够用等问题）
weixin_37879562的博客
11-04 2万+
简介 在深度学习过程中，使用显卡的情况主要有两个过程：一、网络模型训练过程；二、网络模型测试过程。在这两个过程中，都可能存在爆显存或者爆内存的情况。在编程过程中，有很多同学应该都遇到这种情况，本文提供了针对这些问题的解决方案供大家参考。 正常情况下无论是训练还是测试，显卡占用的显存资源不会大范围波动。 情况1 训练过程中爆显存 在训练过程中，如果出现显存不够用的情况，可以先分析具体什么情况。 （1）如果瞬间爆掉显存，很大可能是因为显卡加载模型并载入训...
.eval和with torch.no_grad():
最新发布
07-31
.eval和with torch.no_grad()都是在PyTorch中用于控制模型的运行模式的方法。.eval()方法用于将模型设置为评估模式，即在测试或验证阶段使用。在评估模式下，模型的行为会发生一些改变，例如Batch Normalization和Dropout层会被固定，不会进行随机性操作，以保证结果一致性。[1][2] 而with torch.no_grad()是一个上下文管理器，用于临时禁用梯度计算。在这个上下文中，所有的操作都不会被记录用于计算梯度，从而节省了计算和存储梯度所需的内存和时间。这对于在推理阶段或者只需要前向传播的情况下非常有用。[1][2][3] 需要注意的是，.eval()方法只是将模型设置为评估模式，但仍然会计算梯度，因此在需要控制梯度计算的情况下，需要结合使用with torch.no_grad()来确保不计算梯度。[3] 综上所述，.eval()方法用于将模型设置为评估模式，而with torch.no_grad()用于临时禁用梯度计算，以加速和节省内存。两者可以结合使用，以控制模型的运行模式和梯度计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值