深度神经网络将requires_grad设为True梯度全为0，step()后还会更新梯度问题的原因

最新推荐文章于 2024-03-09 14:05:03 发布
最新推荐文章于 2024-03-09 14:05:03 发布
阅读量564 收藏 2
点赞数 1
分类专栏： 深度学习 文章标签： 人工智能 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41642615/article/details/128804958
版权
在深度神经网络中，若将某层的requires_grad设为True，即使梯度全为0，optimizer.step()仍会更新参数。原因在于保留了计算图，导致该层在zero_grad()后仍被更新。解决方法是将该层从optimizer的更新参数列表中移除，防止其被误更新。
摘要由CSDN通过智能技术生成

目录

问题

原因

解决方法

方法

结果

问题

偶然发现明明将网络中某一层requires_grad设置为True，在loss.backward()后该层的梯度并不为None，反而全是0，并且optimizer.step()前后参数被更新了。

原因

这是在需要多次使用backward(),step()时会出现的问题，当第一次调用loss.backward(retain_graph=True)时，保留了计算图，因此这个被冻住的层的梯度并不会被清空为None，而是保留了下来，当使用optimizer.zero_grad()后，所有的梯度被置为0，也并不会清除掉。

虽然是0，但在更新梯度时，该层还是会被更新

最低0.47元/天 解锁文章
Murphy402
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PyTorch模型训练梯度反向传播遇到的几个报错解决办法
lavinia_chen007的博客
07-08 6990
文章目录相关代码报错1：RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn报错2：IndexError: invalid index of a 0-dim tensor. Use `tensor.item()` in Python or `tensor.item()` in C++ to convert a 0-dim tensor to a number 这篇是关于PyTorch模型训练时
深度神经网络将requires_grad设为True梯度全为0，step且还会更新的问题的原因
qq_41642615的博客
01-30 1754
深度神经网络将requires_grad设为True梯度全为0，step且还会更新的问题是由于上一次backward()时保留了计算图 retain_grad=True
optimizer.step()模型参数不更新，输出梯度为0
qq_39328344的博客
10-03 8785
深度学习实验中遇到了这样一个问题，使用torch.optim.Adam()优化器训练网络更新参数，但是奇怪的是参数一直不更新，loss也一直不变，使用 [x.grad for x in solver.param_groups[0]['params']] 把梯度打印出来发现全部是none，我一口老血喷出天际。 经过了重新配置环境，修修补补网络模型等一系列除了浪费几天时间而对解决问题丝毫没有帮助的操作（当然也不是完全的无用功，利用找问题的这几天我也更好的理解了优化器的原理和优化过程） 就在今天上午，事
Pytorch关于requires_grad_(True)的理解
一叶知秋境
04-25 4万+
  在学习图像迁移的时候，发现使用的vgg19模型需要保证模型参数不更新，所以使用了如下代码： vgg19 = models.vgg19(pretrained=True).to(device) vgg = vgg19.features for param in vgg.parameters(): param.requires_grad_(False)   但是疑惑的是，requires_grad_(False)的作用是让参数不被追踪。百思不解其意，故使用如下代码测试： import torch
Torch中关于参数requires_grad=True的讲解
Nicola.Zhang
03-23 2万+
Torch中关于参数requires_grad=True的讲解
pytorch中模型参数requires_grad的含义
zyk910811的博客
07-06 7553
【代码】pytorch中模型参数requires_grad的含义。
.requires_grad_（True）
最新发布
weixin_58074451的博客
03-09 1037
设置为True时，它会“告诉”PyTorch您希望它跟踪在该张量上执行的所有操作，以便它可以在反向传播期间自动计算梯度。冻结参数：在某些情况下，例如微调预先训练的模型，您可能需要冻结某些层，以便它们在训练过程中不会更新。内存效率：对于模型中不需要梯度计算的部分，将requires_grad设置为False可以提高模型的内存效率，因为PyTorch不会存储对这些张量执行的操作。初始化训练权重：在为要优化的神经网络定义权重时，将requires_grad设置为True，以便计算梯度，从而允许优化器调整权重。
torch.Tensor.requires_grad_(requires_grad=True)的使用说明
敲代码的小风
01-20 1万+
参考链接: requires_grad_(requires_grad=True) → Tensor
浅谈pytorch grad_fn以及权重梯度不更新的问题
09-18
一旦requires_grad被设置为True，该变量就会跟踪其历史操作，从而在调用backward()方法时计算梯度。 4. 权重梯度不更新问题分析 在实践中，有时候会遇到权重梯度不更新的情况。这可能是由多种原因造成的，包括但不...
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
当`requires_grad=True`时，PyTorch会在执行反向传播时计算该张量的梯度，这对于训练神经网络至关重要。在训练过程中，有时我们可能需要在不同阶段动态地更改某些模型参数的`requires_grad`属性，例如在迁移学习中...
深度学习（三）：梯度计算
12-22
  Tensor是autograd包的核心类，若将其属性.requires_grad设置为True，它将开始追踪在其上的所有操作。完成计算后，可以调用 .backward()来完成所有梯度计算。此Tensor的梯度将累计到.grad属性中。若要停止追踪，...
对pytorch中的梯度更新方法详解
09-18
在PyTorch中，模型的参数默认设置为可以计算梯度（`requires_grad=True`）。当一个张量（tensor）被声明为需要梯度时，所有的操作都会追踪下来，以便之后可以计算梯度。然而，为了防止内存中的梯度无限增长，需要...
Pytorch关于求梯度和requires_grad_(True)和detach的理解
Rolandxxx的博客
05-09 7548
1.关于.grad理解直接见测试代码和注释： import torch x = torch.tensor([1, 2], dtype=torch.float32, requires_grad=True) a = torch.tensor([3, 4], dtype=torch.float32, requires_grad=False) w = torch.tensor([1, 2], dtype=torch.float32, requires_grad=True) y = x * 4 + a * w #a
pytorch loss.backward问题：RuntimeError: element 0 of tensors does not require grad and does not have a
cainiao00078的博客
05-18 7154
最近遇到了一个问题，在pytorch定义模型 训练过程中 ，反向传播时 loss.backward() 在上面这个未知报错 RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 该问题说明loss的梯度被关闭了，即loss的require_grad(False) 反观我的模型，我定义的模型套了两个模型，如： class mymodel(nn.Module): def __init_
pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad
weixin_42855362的博客
10-12 6063
pytorch网络冻结的三种方法区别：detach、requires_grad、with_no_grad
YDOOK：Pytorch教程：tensor 张量变量 requires_grad=True 设置 运算保留特征
YDOOK
12-03 1521
YDOOK：Pytorch教程：tensor 张量变量 requires_grad=True 设置 运算后因变量保留自变量该属性 © YDOOK Jinwei Lin, shiye.work 文章目录YDOOK：Pytorch教程：tensor 张量变量 requires_grad=True 设置 运算后因变量保留自变量该属性© YDOOK Jinwei Lin, shiye.workCode:Result: Code: import numpy import torch import numpy as
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
热门推荐
追梦鸟
05-07 4万+
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn 出错位置： loss = loss1 + loss2 ........ loss.backward() 原因： 这里的loss默认的requires_grad是False，因此在backward()处不会计算梯度，导致出错 方法：将loss的requires_grad属性设为True，如下所示： loss = loss1 +
pytorch 模型参数不更新，模型不训练，loss不变，参数没有梯度
StarfishCu的博客
07-25 5859
模型不更新bug原因查找
optimizer.zero_grad(), loss.backward(), optimizer.step()的理解及使用
ywfwyht的博客
02-13 5282
这三个函数的作用是将梯度归零（optimizer.zero_grad()），然后反向传播计算得到每个参数的梯度值（loss.backward()），最后通过梯度下降执行一步参数更新（optimizer.step()）。简单的说就是进来一个batch的数据，先将梯度归零，计算一次梯度，更新一次网络。另外一种：将**optimizer.zero_grad()放在optimizer.step()**后面，即梯度累加。获取loss：输入图像和标签，通过infer计算得到预测值，计算损失函数；
requires_grad=True和requires_grad_=True的区别
08-10
`requires_grad=True`和`requires_grad_=True`都是用于设置张量的`requires_grad`属性为`True`，使得该张量可以进行梯度计算和反向传播。 - `requires_grad=True`是张量的构造函数参数，用于在创建张量时设置`requires_grad`属性为`True`。例如： ```python x = torch.tensor([1, 2, 3], dtype=torch.float32, requires_grad=True) ``` - `requires_grad_()`是张量的原地操作方法，用于将张量的`requires_grad`属性设置为`True`。例如： ```python x.requires_grad_() ``` 两者的区别在于，`requires_grad=True`是在创建张量时设置属性，而`requires_grad_()`是在已有张量上修改属性。同时，需要注意的是，调用`requires_grad_()`方法会改变原始张量，而不是返回一个新的张量。 无论是使用哪种方式，都可以将一个张量标记为需要进行梯度计算和反向传播的张量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值