pytorch 模型参数不更新，模型不训练，loss不变，参数没有梯度

已于 2022-07-25 11:46:42 修改
阅读量5.7k 收藏 26
点赞数 10
分类专栏： pytorch 文章标签： pytorch
于 2022-07-25 10:12:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/StarfishCu/article/details/125969372
版权

问题原因

1.learning rate过大，导致学不到东西
2.batch size过小
3.激活函数使用relu导致负值全部归零
4. optimizer没有放进模型参数
5.torch.argmax(),会使结果失去梯度。对于分类任务，将ground truth改成one-hot形式，网络输出概率来比较
6.softmax也会使结果失去梯度,用log_softmax代替（煞笔pytorch，毁我青春）

StarfishCu
关注
  • 10
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Bug记录——nn.Parameter（）参数不更新、根据loss自学习权重变量不更新、pytorch 模型自定义参数不更新、网络梯度为None，参数不更新解、tensor参数有梯度，但不更新
Chaoy6565的博客
05-03 4244
记录一个bug。bug描述：这是关于一个Pytorch模型自定义nn.Parameter（）参数不更新的bug。就是用nn.Parameter（）定义一个参数变量，它可以根据loss调整大小。1、看该变量的梯度是否为0或者为None。2、学习率是否过小和过大。3、是否加入了optimal的优化参数序列中。4、softmax也会使结果失去梯度,用log_softmax代替。5、torch.argmax(),会使结果失去梯度。
pytorch 自定义参数不更新方式
01-20
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print(no---------------------------------------------------,self.w1.data, self.w1.grad) 下面这个例子说明中间变量可能没有梯度，但是最终变量有梯度： cy1 cd都有梯度 import torch xP=torch.Tensor([[
PyTorch训练网络参数不更新原因一例
最新发布
深圳实习已跑路
05-19 206
起因是在训练一个多个模块构成的网络时发现loss不收敛，而且是所有的子loss都不收敛，显然这就不是因为个别loss写错导致的了。但模块A确实在前向传播中被调用了，那原因是什么呢？发现模块A的参数梯度值竟然都是None！其次，检查模块各个参数是否都设成。删除多余的嵌套后，问题解决！首先，有一个地方用了。
optimizer.step()模型参数不更新，输出梯度为0
qq_39328344的博客
10-03 8505
深度学习实验中遇到了这样一个问题，使用torch.optim.Adam()优化器训练网络更新参数，但是奇怪的是参数一直不更新，loss也一直不变，使用 [x.grad for x in solver.param_groups[0]['params']] 把梯度打印出来发现全部是none，我一口老血喷出天际。 经过了重新配置环境，修修补补网络模型等一系列除了浪费几天时间而对解决问题丝毫没有帮助的操作（当然也不是完全的无用功，利用找问题的这几天我也更好的理解了优化器的原理和优化过程） 就在今天上午，事
Pytorch参数不更新问题
不想成为网红的程序员不是好司机
05-04 1万+
今天写代码写到半夜，遇到了2次pytorch的loss不下降的问题。打印出网络参数，印证了参数并没有更新。通过搜集网上的资料，总结出了解决问题的3种办法。 (1) 用torch.autograd.Variable，把输入转换为Variable。但是对于离散型输入不适用 (2)计算出loss后，loss = loss.requires_grad_()。此方法有效。 (3)检查optimizer，如果model更新了，那么要重新运行一次 optimizer = optim.Adam(model.paramete
PyTorch训练模型backward后梯度存在但optmizer.step()后模型参数不更新
weixin_51500700的博客
02-27 448
grad打印出来不为0，但。原因：检查学习率是否为0。
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
T555hhh555hhh的博客
12-03 978
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
模型参数无法更新的原因:训练、预测中加入了print函数
小姑仔的博客
08-30 3873
今天下午编写代码的时候，发现不同的输入输出内容几乎一致 for epoch in range(1): print('epoch {}'.format(epoch+1)) train_loss = 0 train_acc = 0 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.train() model = model.to(device) mod
网络梯度为None、参数不更新解决思路（又名“魔改代码的报应”）
weixin_43978293的博客
03-03 3749
网络梯度为None、参数不更新的解决思路
深度学习框架Lasagne的技巧总结(2)——参数的更新与不更新
shincling
01-17 1897
如果你是一个在神经网络中做过诸多尝试，尤其是自己设计很多结构而不是照搬的话，那么在实际应用构建网络的时候，我相信经常有这样一个需求：需要让某些参数不更新。这样的场景可能出现在训练好的词向量、预训练好的带参数的网络模块、信度分配容易出现问题的底层中等。如何在Lasagne中实现参数的差异化呢？这里有两个方法：1. 通过在网络参数初始化时候给参数通过拟定不同的标签来过滤。 2. 直接修改网络参数列表
Pytorch反向传播(loss.backward)报错原因及解决办法
热门推荐
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
02-06 2万+
RuntimeError: grad can be implicitly created only for scalar outputs 错误原因及其解决办法
pytorch 版本的resnet 训练分类的代pytorch-resnet-classification-master.zip
03-07
8. **优化器（Optimizer）**：优化器负责更新模型参数以最小化损失函数。Adam（Adaptive Moment Estimation）是一种常用的优化器，结合了动量和自适应学习率，通常能提供良好的性能。 9. **数据增强（Data ...
LeNet5-MNIST-PyTorch-master.zip
12-02
4. 训练模型：遍历训练数据，进行前向传播、计算损失、反向传播和权重更新。 5. 验证和测试：在验证集和测试集上评估模型性能。 在压缩包的"LeNet5-MNIST-PyTorch-master"文件夹中，通常会包含以下内容： - 数据...
使用pytorch写的Alexnet代码，详细注释，可以生成训练集和测试集的损失和准确率的折线图
05-01
6. **训练模型**：进行多个训练周期（epochs），在每个周期内遍历训练数据，执行前向传播、计算损失、反向传播和权重更新。 7. **评估模型**：在验证集上评估模型性能，记录损失和准确率。 8. **绘制图表**：利用...
pytorch卷积详解.rar
12-23
每个训练迭代包括前向传播、计算损失、反向传播和参数更新这四个步骤。 此外，PyTorch还支持动态图机制，这意味着可以在运行时构建计算图，提供了更高的灵活性。对于复杂的网络结构或者需要动态调整的操作，PyTorch...
人民币二分类（使用LeNet模型，将1元和100元人民币进行二分类）
11-17
4. **训练模型**：在训练集上迭代，进行前向传播、计算损失、反向传播和权重更新。 5. **验证和测试**：在验证集和测试集上评估模型性能，避免过拟合。 6. **模型保存**：如果达到满意的效果，保存模型以便后续使用...
基于pytorch深度学习项目所有参数梯度不更新情况
m0_45290027的博客
10-11 1471
pytorch训练过程模型参数没有梯度
深度神经网络将requires_grad设为True梯度全为0，step()后还会更新梯度问题的原因
qq_41642615的博客
01-30 498
这是在需要多次使用backward(),step()时会出现的问题，当第一次调用loss.backward(retain_graph=True)时，保留了计算图，因此这个被冻住的层的梯度并不会被清空为None，而是保留了下来，当使用optimizer.zero_grad()后，所有的梯度被置为0，也并不会清除掉。解决方案也十分简单，我们的目的是不更新该层梯度，现在虽然没有计算梯度还是更新了，但只要将该层从optimizer要更新的参数的列表中踢出，即可避免该层被更新。
pytorch 参数有梯度却不更新
08-30
在PyTorch中，参数的梯度通常由autograd模块自动计算和跟踪。然而，有时候我们可能希望某些参数的梯度保持不变，即使在模型的训练期间也不更新。 为了实现这一点，我们可以使用requires_grad属性将参数的梯度开关关闭。当requires_grad属性设置为False时，参数的梯度将不会被计算和更新。 例如，假设我们有一个参数张量weights，并且我们想要保持它的梯度不变。我们可以使用如下方式： ```python import torch weights = torch.randn(3, 3, requires_grad=True) # 创建一个参数张量，开启梯度计算 # 将requires_grad设置为False，关闭梯度计算 weights.requires_grad = False # 用参数张量执行一些操作（例如前向传播和损失计算） output = weights.sum() # 进行反向传播并打印参数的梯度。由于requires_grad为False，梯度将为None output.backward() print(weights.grad) # 输出为None ``` 在上述示例中，我们首先创建一个参数张量weights，并将其requires_grad属性设置为True，以便在执行后续操作时计算梯度。然后，我们将requires_grad属性设置为False，使得参数的梯度保持不变。最后，我们进行反向传播，但由于requires_grad为False，参数的梯度将为None。 需要注意的是，关闭参数的梯度计算仅适用于当前张量的操作。例如，如果在执行forward函数时使用了该参数，在后续步骤中的gradient calculation将不会受到requires_grad属性的影响。 总而言之，通过将参数的requires_grad属性设置为False，我们可以保持参数的梯度不更新，从而控制参数的训练行为。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值