pytorch 中detach() 和 with torch.no_grad()和eval()

最新推荐文章于 2023-04-05 21:12:27 发布
最新推荐文章于 2023-04-05 21:12:27 发布
阅读量1.2k 收藏 6
点赞数 2
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_28375239/article/details/119039411
版权
本文对比了PyTorch中的detach()和torch.no_grad()方法，解释了它们在梯度跟踪和训练/推断模式中的作用，同时提到了model.eval()的区别。理解这两种技巧对于高效编程和防止梯度错误至关重要。
摘要由CSDN通过智能技术生成

detach() 和 torch.no_grad() 都可以实现相同的效果，只是前者会麻烦一点，对每一个变量都要加上，而后者就不用管了:

- detach() 会返回一个新的Tensor对象，不会在反向传播中出现，是相当于复制了一个变量，将它原本requires_grad=True变为了requires_grad=False

- torch.no_grad() 通常是在推断(inference)的时候，用来禁止梯度计算，仅进行前向传播。在训练过程中，就像画了个圈，来，在我这个圈里面跑一下，都不需要计算梯度，就正向传播一下。
 

而model.eval()和torch.no_grad()两者都用，因为两者有着不同的作用：

- torch.no_grad()：在autograd中禁用梯度跟踪

- model.eval()：更改所调用模块的forward()行为。例如，它禁用dropout，并使用测试时bn norm

Cater Chen
关注
专栏目录
pytorch中with torch.no_grad(): && model.eval()
ZwaterZ的博客
07-22 1962
with是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。比如文件的写入（需要打开关闭文件）等。以下为一个文件写入使用with的例子。后部分，可以将with后的语句运行，将其返回结果给到as后的变量（sh），之后的代码块对close进行操作。...
leaf node、detach()、with no_grad()、.grad_fn()、requires_grad、Grad Modes、.zero_grad()/step、.backward等
最新发布
qq_40940771的博客
03-29 1136
所有requires_grad为False的张量，都约定俗成地归结为叶子张量requires_grad为True且由用户创建的,则它们是叶张量(leaf Tensor)，例如各种网络层，nn.Linear(), nn.Conv2d()等。下图中绿色的点都是叶子节点：非叶子节点是通过用户所定义的叶子节点的一系列运算生成的，也就是这些非叶子节点都是中间变量，一般情况下，用户不会使用这些中间变量的导数，所以为了节省内存，它们在用完之后就被释放了。
pytorch中detach()和with torch.no_grad()的区别
heart_arsonists的博客
07-03 1582
当我们参考一些基于pytorch的深度学习代码时，不难发现当我们不希望计算被反向传播，进入梯度计算时，会使用到detach()或with torch.no_grad(). 那么两者有些什么区别呢？ 当我们使用with torch.no_grad()时，我们即创建了一张图，在这张图中，所有的计算都不会进入梯度计算。但当我们使用detach()时，我们则是将一个变量从图中剥离出来进而使得此变量的计算不会进入到梯度计算中。 ...
detach()、data、with no_grad()、requires_grad之间关系
一扣解千愁的博客
07-18 4426
detach()、.data、with no_grad()、requires_grad之间关系 [@TOC](detach ()、.data、with no_grad()、requires_grad之间关系)
model.eval()和 with torch.no_grad() 在获取中间层特征时缺一不可
weixin_44228389的博客
04-06 1927
训练好神经网络模型后，我需要获取其中间层特征，但在通过复写模型的方法抽取特征的时候，vscode多次崩溃，并提醒我buy a new RAM！ 后来经排查发现，我只进行了 model.eval()操作，而没有在抽取中间层的时候加上 with torch.no_grad()。 model.eval()仅作用于dropout层和batchnorm层，让其与训练状态不同，相当于dropout的参数为0，batchnorm也不再更新和计算mean和var值，而是使用训练阶段学习到的mean和var。 而 wi
深入理解PyTorch中的train()、eval()和no_grad()
Chaos的博客
04-05 3612
在PyTorch中，train()、eval()和no_grad()是三个非常重要的函数，用于在训练和评估神经网络时进行不同的操作。在本文中，我们将深入了解这三个函数的区别与联系，并结合代码进行讲解。
pytorch中model.eval之后是否还需要model.train的问题
jaffe的博客
04-09 794
答案是：需要的 正确的写法是 for循环之后再开启train， 循环之后的评估model.eval之后就会再次回到model.train
net.eval() with torch.no_grad(): res = net(test_dataset.f[i].to(device)).detach() print(nn.functional.mse_loss(res, test_dataset.label[i].to(device)))
06-02
接下来，`torch.no_grad()`是一个上下文管理器，用于指示PyTorch在评估模式下不需要计算梯度，以提高测试效率。 然后，对于测试集中的每个样本，代码通过`net(test_dataset.f[i].to(device))`对其进行预测，并将...
model.eval() if cuda: input1 = input1.cuda() input2 = input2.cuda() with torch.no_grad(): prediction = model(input1, input2) temp = prediction.cpu() temp = temp.detach().numpy() if height <= opt.crop_height and width <= opt.crop_width: temp = temp[0, opt.crop_height - height: opt.crop_height, opt.crop_width - width: opt.crop_width] else: temp = temp[0, :, :] skimage.io.imsave(savename, (temp * 256).astype('uint16'))
06-04
使用 torch.no_grad() 可以避免在推理过程中计算梯度。得到的预测结果是一个 PyTorch Tensor 类型，需要使用 .cpu() 将其移回 CPU 上，并使用 .detach() 将其与计算图分离，以便后续的操作不会影响计算图。将 Tensor...
RuntimeError: set_storage_offset is not allowed on a Tensor created from .data or .detach().
NLOS的博客
08-09 4058
报错信息 Traceback (most recent call last): File "selfdeblur_ycbcr.py", line 91, in <module> net_input_kernel.squeeze_() RuntimeError: set_storage_offset is not allowed on a Tensor created from .data or .detach(). If your intent is to change the ...
pytorch学习笔记——requires_grad、detach、torch.no_grad
phily123的博客
02-26 2927
requires_grad表示这个tensor是否要求计算梯度，自己新建的tensor(即叶子节点）默认为False,不用计算梯度，如果某个输入需要计算梯度，则其输出也默认需要计算梯度，就算想把这个输出强行改为False也不行会提示错误 torch.no_grad() 是一个上下文管理器，被该语句 wrap 起来的部分将不会track 梯度。 with torch.no_grad()或者@torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播。这种情况是允许输入要求梯度，改变输出的req
pytorch中with torch.no_grad():
热门推荐
weixin_44134757的博客
04-26 6万+
1.关于with with是python中上下文管理器，简单理解，当要进行固定的进入，返回操作时，可以将对应需要的操作，放在with所需要的语句中。比如文件的写入（需要打开关闭文件）等。 以下为一个文件写入使用with的例子。 with open (filename,'w') as sh: sh.write("#!/bin/bash\n") ...
【Pytorch】区分detach()和torch.no_grad()
crazyang的博客
03-14 3213
先上三个例子，可能你就已经懂得了。detach() 和 torch.no_grad() 都可以实现相同的效果，只是前者会麻烦一点，对每一个变量都要加上，而后者就不用管了。 x = torch.tensor(2., requires_grad=True) y = torch.tensor(3., requires_grad=True) z = 2 * x * y print(z.requires_grad) # True x = torch.tensor(2., requires_grad=True) y
Pytorch中requires_grad_(), detach(), torch.no_grad()的区别
SnailTyan
06-01 5467
文章作者：Tyan 博客：noahsnail.com  |  CSDN  |  简书 0. 测试环境 Python 3.6.9, Pytorch 1.5.0 1. 基本概念 Tensor是一个多维矩阵，其中包含所有的元素为同一数据类型。默认数据类型为torch.float32。 示例一 >>> a = torch.tensor([1.0]) >>> a.data tensor([1.]) >>> a.grad
【笔记】torch.no_grad（）、eval（）、requires_grad 的区别：torch.no_grad不进行回传,eval回传但不更新梯度，requires_grad设置节点是否更新梯度
nyist_yangguang的博客
07-29 1065
torch.no_grad（）不进行backpropagation,eval()回传但不更新梯度，
model.eval()和torch.no_grad()参数更新的问题
weixin_45252325的博客
06-16 2111
model.eval()的作用是用于模型评估阶段，关闭模型的Batch normalization层和Dropout层，[参考] 所以在model.eval()时模型参数还是会变化的[参考]，梯度的计算不受影响，计算流依然会存储和计算梯度，反向传播后仍然能够更新模型的对应的权重（比如BN层的weight和bias依然能够被更新）。 而torch.no_grad()的作用就是停止autograd模块的工作，即不会自动计算和存储梯度，因此能够起到加速计算过程和节省显存的作用，同时也说明了不能够进行反向传播以更
pytorch requires_grad 与 detach 区别 梯度传递细节 cpu gpu Variable numpy转换
心之所向
04-21 2万+
# detach将计算图中节点转为叶子节点，也就是将节点.grad_fn设置为none，这样detach的前一个节点就不会再与当前变量连接 &amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;gt; import torch &amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;gt;&amp;amp
with torch.no_grad(): 可显著减少显存占用
judgechen1997的博客
05-21 5214
模型训练的时候，爆显存了，可以调整batch，对数据进行crop等等操作 今天发现一个模型，每次测试的时候爆显存，开始以为原因是用了全图（1920x1080略大）进行inference。 这是一方面，但后来发现忘了用with torch.no_grad(): 这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。 加了之后，不过3G显存就够了。。确实inference不需要那么多显存的，以后记着这种不正常现象如何处理。 ...
pytorch中model.eval()和torch.no_grad()的区别
非晚非晚的博客
06-07 1383
在PyTorch中进行validation时，会使用model.eval()切换到测试或者称为验证模式下。model.eval()仅作用于dropout层和batchnorm层，让其与训练状态不同，相当于 dropout的参数为0 ，batchnorm也 不再更新和计算 mean和var值，而是使用训练阶段学习到的mean和var。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值