pytorch 模型参数不更新，模型不训练，loss不变，参数没有梯度

已于 2022-07-25 11:46:42 修改
阅读量6.3k 收藏 28
点赞数 12
分类专栏： pytorch 文章标签： pytorch
于 2022-07-25 10:12:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/StarfishCu/article/details/125969372
版权

问题原因

1.learning rate过大，导致学不到东西
2.batch size过小
3.激活函数使用relu导致负值全部归零
4. optimizer没有放进模型参数
5.torch.argmax(),会使结果失去梯度。对于分类任务，将ground truth改成one-hot形式，网络输出概率来比较
6.softmax也会使结果失去梯度,用log_softmax代替（煞笔pytorch，毁我青春）

pytorch模型保存及加载参数恢复训练的例子
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
09-02 1251
在恢复训练时，优化器不需要重新传递是因为它在初始化时已经绑定了模型参数，并且这些引用在模型权重加载后仍然有效。优化器只需要恢复它的状态，就可以继续操作绑定的模型参数。
Bug记录——nn.Parameter（）参数不更新、根据loss自学习权重变量不更新、pytorch 模型自定义参数不更新、网络梯度为None，参数不更新解、tensor参数有梯度，但不更新
Chaoy6565的博客
05-03 5681
记录一个bug。bug描述：这是关于一个Pytorch模型自定义nn.Parameter（）参数不更新的bug。就是用nn.Parameter（）定义一个参数变量，它可以根据loss调整大小。1、看该变量的梯度是否为0或者为None。2、学习率是否过小和过大。3、是否加入了optimal的优化参数序列中。4、softmax也会使结果失去梯度,用log_softmax代替。5、torch.argmax(),会使结果失去梯度。
Pytorch参数不更新问题
不想成为网红的程序员不是好司机
05-04 1万+
今天写代码写到半夜，遇到了2次pytorch的loss不下降的问题。打印出网络参数，印证了参数并没有更新。通过搜集网上的资料，总结出了解决问题的3种办法。 (1) 用torch.autograd.Variable，把输入转换为Variable。但是对于离散型输入不适用 (2)计算出loss后，loss = loss.requires_grad_()。此方法有效。 (3)检查optimizer，如果model更新了，那么要重新运行一次 optimizer = optim.Adam(model.paramete
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
T555hhh555hhh的博客
12-03 1109
pytorch逻辑回归梯度、权重等所有参数不更新的问题(Logistic Regression)
pytorch 自定义参数不更新方式
01-20
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print(no---------------------------------------------------,self.w1.data, self.w1.grad) 下面这个例子说明中间变量可能没有梯度，但是最终变量有梯度： cy1 cd都有梯度 import torch xP=torch.Tensor([[
模型参数无法更新的原因:训练、预测中加入了print函数
小姑仔的博客
08-30 4788
今天下午编写代码的时候，发现不同的输入输出内容几乎一致 for epoch in range(1): print('epoch {}'.format(epoch+1)) train_loss = 0 train_acc = 0 device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") model.train() model = model.to(device) mod
PyTorch训练模型backward后梯度存在但optmizer.step()后模型参数不更新
weixin_51500700的博客
02-27 718
grad打印出来不为0，但。原因：检查学习率是否为0。
解决Pytorch训练过程中loss不下降的问题
09-18
如果二者维度不匹配，计算出的loss值无法正确反映模型的预测误差，这样模型在反向传播时无法根据真实的梯度信息进行有效的权重更新，导致训练过程无法取得进展。 4. 模型结构或初始化问题：有时候模型结构设计不...
深度学习（神经网络）训练时loss不变的可能原因
热门推荐
weixin_44405644的博客
05-19 5万+
一、训练背景 模型采用简单的四层linear以及Relu、Sigmoid，实现二分类问题 loss采用的是交叉熵和Focal loss(测试Focal loss性能) 优化方式采用的是Adam+StepLR 二、LOSS不变的原因 1. 背景：训练集和测试集的loss都不变了、训练集的loss完全不变(是严格的不变了) 2.loss不变的处理办法 1. 首先参考网上的策略 -1. 数据本身的问题：可以尝试使用其他的数据处理方法，例如归一化或者规范化等(不能没有，不能全靠Adam呀) -2. 初始化权重
PyTorch训练网络参数不更新原因一例
最新发布
深圳实习已跑路
05-19 712
起因是在训练一个多个模块构成的网络时发现loss不收敛，而且是所有的子loss都不收敛，显然这就不是因为个别loss写错导致的了。但模块A确实在前向传播中被调用了，那原因是什么呢？发现模块A的参数梯度值竟然都是None！其次，检查模块各个参数是否都设成。删除多余的嵌套后，问题解决！首先，有一个地方用了。
基于pytorch深度学习项目所有参数梯度不更新情况
m0_45290027的博客
10-11 1650
pytorch训练过程模型参数没有梯度
关于LibTorch训练参数无法更新
爱吃鱼的猫博客
01-23 264
可能原因是 构造函数里没有注册模型到参数中 NormModuleImpl::NormModuleImpl() : mc{ torch::nn::Conv2d(torch::nn::Conv2dOptions(1,32,3).stride(1).padding(1)), } { //没写这句代码 模型参数不work register_module("ds", mc); } int main(){ Adam optimizer(ae->parameters()); retur
Pytorch 自定义网络参数，但网络参数数值不更新
qq_42256930的博客
04-17 826
如果我们仅仅将fw1的网络参数放到优化器中，依然采用b处开始计算梯度，fw2会有梯度值，但是由于没放到优化器中，因此fw2的网络参数是不会更新的。没有把定义的网络的参数放到优化器中因此，对应的网络部分的参数是不会更新的。
pytorch迁移学习冻结某层参数，训练时不更新
qq_33604370的博客
04-13 1981
https://blog.csdn.net/qq_41368074/article/details/107860126
【Pytorch深度学习代码错误案例】参数和优化器没有对应导致参数无法更新错误案例（附查看梯度和参数的方法）
qq_44951699的博客
02-24 720
本文记录了一个在训练过程中遇到的有关无法更新参数的小问题
解决DDP的参数未参与梯度计算
billbliss的专栏
10-06 898
将find_unused_parameters改成False之后，如果出现模型有些参数未参与loss计算等错误。或者，乘以0与模型的loss进行相加，使未用到的参数也参入了loss计算。可以用环境变量来debug查看log。可以将这些未用到的参数注释掉。代码上可以用以下方法查看。
梯度消失与深度学习模型的调参
AI天才研究院
12-26 95
1.背景介绍 深度学习是人工智能领域的一个重要分支，它主要通过多层次的神经网络来学习数据的特征，从而实现对复杂任务的自动化处理。在过去的几年里，深度学习技术取得了巨大的进展，成功应用于图像识别、自然语言处理、语音识别等多个领域，取得了显著的成果。然而，深度学习模型在训练过程中仍然存在着一些挑战，其中最为著名的就是梯度消失（vanishing gradi
tensorflow 训练权重不更新_TensorFlow模型剪枝原理
weixin_39924486的博客
12-10 747
封面图片：ThisisEngineering RAEng on Unsplash本文是对论文“To prune, or not to prune: exploring the efficacy ofpruning for model compression”的摘抄。这篇文章是TensorFlow模型优化工具文档中推荐的，作者Michael H. Zhu，来自斯坦福大学。在这里可以找到论文...
PyTorch模型训练实战：权值初始化与优化技巧
"PyTorch模型训练实用教程，涵盖权值初始化、损失函数、优化器和学习率调整方法，以及TensorBoardX的使用" 在机器学习和深度学习领域，PyTorch因其易于使用、灵活性高和强大的社区支持而受到广泛欢迎。本教程由余霆...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值