pytorch之with torch.no_grad

最新推荐文章于 2024-07-19 10:46:01 发布
最新推荐文章于 2024-07-19 10:46:01 发布
阅读量441 收藏 1
点赞数
分类专栏： 深度学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuebowhu/article/details/118090265
版权
本文探讨了在PyTorch中如何使用with torch.no_grad()来避免不必要的计算图构建，以提高效率。通过实验比较了使用与不使用torch.no_grad()的情况，并引用了相关资源进行深入学习。
摘要由CSDN通过智能技术生成

在使用pytorch时，并不是所有的操作都需要进行计算图的生成（计算过程的构建，以便梯度反向传播等操作）。而对于tensor的计算操作，默认是要进行计算图的构建的，在这种情况下，可以使用 with torch.no_grad():，强制之后的内容不进行计算图构建。

下面针对是否使用torch.no_grad()做个实验。
1. 不使用torch.no_grad()

import torch

x = torch.arange(4.0)
x.requires_grad_(True)
# 默认是要进行计算图的构建的
y = 2 * torch.dot
最低0.47元/天 解锁文章
FibonacciCode
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch中with torch.no_grad():
weixin_44134757的博客
04-26 6万+
1.关于with with是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。比如文件的写入（需要打开关闭文件）等。 以下为一个文件写入使用with的例子。 with open (filename,'w') as sh: sh.write("#!/bin/bash\n") ...
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.... with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
【pytorch】 with torch.no_grad():用法详解
sazass的博客
05-11 15万+
在pytorch写的网络中，with torch.no_grad():非常常见。 首先，关于python中的with： with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭／线程中锁的自动获取和释放等。 例如： file = open("１.txt") data = file.read() file.close() 存在问题如下： （１）文件读取发生异常，但没有进行任何处理； （２）可能忘记关闭文件句柄； 改进： try:
torch.no_grad()详解
最新发布
m0_49133355的博客
07-19 612
torch.no_grad() 是一个用于禁用梯度计算的上下文管理器，适用于模型评估、推理等不需要梯度计算的场景。在使用 torch.no_grad() 时，通常还会将模型设置为评估模式（model.eval()），以确保某些层（如 dropout 和 batch normalization）在推理时的行为与训练时不同。torch.no_grad() 可以嵌套使用，内层的 torch.no_grad() 仍然会禁用梯度计算。进入 torch.no_grad() 上下文，临时禁用梯度计算。
with torch.no_grad() 详解
热门推荐
岛的博客
04-21 15万+
torch.no_grad() 是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度。 例如： a = torch.tensor([1.1], requires_grad=True) b = a * 2 b Out[63]: tensor([2.2000], grad_fn=<MulBackward0>) b.add_(2) Out[64]: tensor([4....
【PyTorch】with torch.no_grad() 详解
m0_73771268的博客
05-01 2304
我们知道在 PyTorch 中，前向传播过程中构建计算图，而反向传播时销毁计算图以释放内存并计算叶子节点的梯度信息。尽管如此，由于在 torch.no_grad() 上下文中创建的张量（如 param）不依赖于计算图中的其他节点，它们仍然被视为叶子节点。因此，这些张量的梯度信息仍然可以被访问，但是梯度计算不会在该上下文中进行，因此在此上下文内产生的张量不会保存任何梯度信息。因为原地操作会覆盖当前内存的值，但叶子节点所指向的内存块进行无法进行修改操作，否则会导致其中梯度信息与节点的值不再有计算上的对应关系。
Pytorch 中的 with torch.no_grad(): 详解
Z2572862506的博客
01-11 2885
Pytorch 中的 with torch.no_grad(): 详解
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
在PyTorch中，`requires_grad`属性是一个关键特性，用于控制张量的梯度计算。当`requires_grad=True`时，PyTorch会在执行反向传播时计算该张量的梯度，这对于训练神经网络至关重要。在训练过程中，有时我们可能需要...
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() ...
pytorch 状态字典:state_dict使用详解
09-18
PyTorch中的`state_dict`是一个非常重要的工具，它用于保存和加载模型的参数。`state_dict`是一个Python字典，其中键是网络层的标识，值是对应层的权重和偏差等参数。这个功能使得在训练过程中可以方便地保存模型的...
with torch.no_grad()在Pytorch中的应用
weixin_44584198的博客
12-22 2275
即使一个tensor（命名为x）的requires_grad = True，在with torch.no_grad计算，由x得到的新tensor（命名为w-标量）requires_grad也为False，且grad_fn也为None,即不会对w求导。在模型的评估模式下，对验证数据集进行前向传播并计算性能指标，而不计算或存储梯度信息。虽然在某些情况下忘记使用 torch.no_grad() 可能不会立即导致错误，但为了确保计算效率和正确性，建议在不需要梯度计算的情况下使用 torch.no_grad()。
积跬步至千里 || PyTorch 中的“with torch no_grad” 语句
weixin_40234309的博客
06-28 1092
ok
Pytorch官方教程(三)—Learning Pytorch with Examples
测试
04-03 263
2019 April 03 pytorch Pytorch官方教程(三)—Learning Pytorch with Examples Pytorch 提供了两个主要特性： n 维 Tensor，类似 numpy 不过可以在 GPU 上运行 构建和训练神经网络的自动微分 使用全连接 ReLU 网络作为运行示例。在网络中有一个隐藏层，并通过梯度下降训练来匹配随机数据，使网络输出与真实输出之...
pytorch中 with torch.no_grad() 详解
qq_28057379的博客
04-04 2181
with torch.no_grad() 是一个上下文管理器，由它管理的代码块不需要计算梯度，也不会进行反向传播，因此在训练阶段常用于验证集计算loss、在测试阶段，则需要加上该代码，避免进行损失梯度的计算 ...
with torch.no_grad()
weixin_44682222的博客
10-05 466
#with torch.no_grad() 详解 ''' 被该语句包裹起来的语句将不会被追踪梯度 ''' a=torch.tensor([1.1],requires_grad=True) b=a*2 print(b)#tensor([2.2000], grad_fn=<MulBackward0>) b.add_(2) print(b)#tensor([4.2000], grad_fn=<AddBackward0>) with torch.no_grad(): b.mul_
with torch.no_grad():
DaBaoCoding的博客
05-02 1052
在深度学习中，我们通过反向传播来计算模型参数的梯度。但是，在进行测试集验证或者模型推断时，并不需要计算梯度，这时计算梯度只会浪费计算资源。因此，为了提高运行效率，可以使用。上下文管理器时，该代码块内的所有操作都将被视为不需要梯度计算，包括所有的前向计算，反向传播和参数更新等操作。这样可以节省显存和计算资源，并且减少计算时间。是PyTorch中的上下文管理器，用于指定一段代码块内部不需要计算梯度。通常在测试集验证或者模型推断时使用。上下文管理器来指定这段代码块内部不需要计算梯度。
torch进阶(1)--with torch.no_grad()
zyczjx的博客
09-24 1033
torch中的梯度计算及反传
with torch.no_grad():显著减少测试时显存占用
qq_61888524的博客
10-17 4214
问题描述 将训练好的模型拿来做inference，发现显存被占满，无法进行后续操作，但按理说不应该出现这种情况。 RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 7.93 GiB total capacity; 6.94 GiB already allocated; 10.56 MiB free; 7.28 GiB reserved in total by PyTorch) 解决方案 ...
pytorch with torch.no_grad():
08-16
在PyTorch中，使用`with torch.no_grad():`可以创建一个上下文环境，在这个环境中计算的结果不会被自动求导。这在需要进行前向传播但不需要计算梯度的情况下非常有用。例如，当我们只是想对测试数据进行推断时，可以使用`with torch.no_grad():`来禁止自动求导以节省计算资源。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Pytorch 中的 with torch.no_grad(): 详解](https://blog.csdn.net/Z2572862506/article/details/128648752)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [pytorch中with torch.no_grad():](https://blog.csdn.net/weixin_42769131/article/details/113106280)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值