加载预训练模型时报错 KeyError: param ‘initial_lr‘ is not specified in param_groups[0]

于 2023-06-09 13:53:57 发布
阅读量1.8k 收藏 2
点赞数 2
分类专栏： 学习笔记 bug排错 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42548340/article/details/131125986
版权

在加载预训练模型继续训练时，程序报错：KeyError: “param ‘initial_lr’ is not specified in param_groups[0] when resuming an optimizer”
解决办法： lr_scheduler = torch.optim.lr_scheduler.MultiStepLR( optimizer, cfg.TRAIN.LR_STEP, cfg.TRAIN.LR_FACTOR, last_epoch=-1 )
对代码中出现的 last_epoch 或者end_epoch设置为-1即可，亲测管用。
参考：https://discuss.pytorch.org/t/a-problem-occured-when-resuming-an-optimizer/28822

Tomorrow；
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
OneCycleLR 训练中断恢复问题
weixin_43832073的博客
03-02 369
pytorch 利用 torch.optim.lr_scheduler.OneCycleLR 更新学习率，中断训练之后，恢复训练。
Torch 训练的一些注意点：优化器params参数 与 lr 调度器篇 [1]
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
03-30 2930
摘要： Torch 多模型的参数分组 lr_scheduler.StepLR 先建立一个实验环境 import torch import torch.optim as optim import torch.nn as nn # 这里先建立两个模型 model1 = nn.Conv1d(1, 1, 1, bias=False) model2 = nn.Conv1d(1, 1, 1, bias=False) # 自己康康打印了什么 print(model1.state_dict()) print(m
使用模型压缩库Distiller遇到的问题
羊藤枝的博客
04-02 2451
KeyError: "param 'initial_lr' is not specified in param_groups[0] when resuming an optimizer" 在使用下面命令训练mobilenetV1模型时，为了加快速度，我从网上下载了一个预训练模型mobilenet_sgd_68.848.pth.tar，结果如下设置时，报错如上。 python3 compress_c...
Pytorch：lr_schedule恢复训练的注意事项
guls999的博客
01-03 1万+
  在训练过程中我们一般会使用pytorch已有的学习率调整策略，如： import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr...
Loadrunner中web_reg_save_param的使用详解
02-04
应用范围　　在使用Loadrunner进行性能测试时，经常遇到一种情况，需要通过web页面修改某事务的状态。于是需要首先读出当前的事务的状态，再进行修改，此时便可以使用到web_reg_save_param了。可以通过它先将事务的状态读出写入一个自定义的变量中，根据变量的值来决定下一步的动作。　简要说明　　语法：intweb_reg_save_param(constchar*ParamName,<listofAttributes>,LAST);　参数说明:ParamName:存放得到的动态内容的参数名称listofAttributes:其它属性，包括：Notfound,LB,RB,RelFra
使用PyTorch加载模型部分参数方法
TracelessLe的专栏
04-10 8605
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。 方法 方法一：strict=False 直接使用load_state_dict提供的参数s
Pytorch：训练中断再恢复时的注意事项
Childhood_Sweetheart的博客
05-10 6325
参考链接：Pytorch：lr_schedule恢复训练的注意事项 import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr=1e-3) scheduler = optim.lr_scheduler.MultiStepLR(optimi
【深度学习】(10) 自定义学习率衰减策略（指数、分段、余弦），附TensorFlow完整代码
博观而约取，厚积而薄发
04-28 6119
大家好，今天和大家分享一下如何使用 TensorFlow 自定义 指数学习率下降、阶梯学习率下降、余弦学习率下降 方法，并使用 Mnist数据集验证自定义的学习率下降策略。 创建的自定义学习率类方法，需要继承 tf.keras.optimizers.schedules.LearningRateSchedule 1. 指数学习率下降 指数学习率下降公式为： 其中代表初始的学习率，代表学习率衰减系数，代表epoch，即每次迭代学习率衰减一次 以初始学习率，学习率衰减系数，为例指数学...
pytorch笔记：调整学习率（torch.optim.lr_scheduler）
qq_40206371的博客
08-25 8313
1 概述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。 2lr_scheduler调整策略举例 2.1torch.optim.lr_scheduler.LambdaLR torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambda, last_ep...
【pytorch】Timm库从本地权重文件初始化预训练模型
qq_45657975的博客
12-26 5877
timm库使用本地预训练模型
param_assign.rar_in
09-23
This defines are duplicated in cciss_cmd.h in the driver directory.
如何使用assert_param
08-03
本文介绍了一种使用软件调试stm32的高效率的方法。
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
如果模型只在一块GPU上跑，该过程非常简单，只需要训练中途迭代model的 parameters，然后改变各个param的requires_grad 属性即可： for name, param in model.named_parameters(): logger.info('parameter of %s'%name) logger.info('before requires_grad is : %s'%param.requires_grad) param.requires_grad = True logger.info('after requires_gr
PhpMyAdmin出现export.php Missing parameter: what /export_type错误解决方法
12-19
PhpMyAdmin 不能导出数据的问题，点击导出后先是一个请求失败或者白页，重新刷新后就报错 export.php: Missing parameter: what (FAQ 2.8) export.php: Missing parameter: export_type (FAQ 2.8) 解决方法是： php目录下的php.ini 设置要调整一下 原来的 post_max_size = 8M ，改大到 post_max_size = 20M 就好了。 php源码中解决办法 ini_set(‘memory_limit’, ‘180M’); 如果在linux系统中我们就 This is the
两种方案成功解决 KeyError: ‘xxx does not support field: _id’
12-21
目录错误代码了解item错误原因解决方法 长相思兮长相忆，短相思兮无穷极， 早知如此绊人心，何如当初莫相识。 —— 李白《三五七言 / 秋风词》 错误代码 KeyError: ‘xxx does not support field: _id’ 了解item 首先我们先简单了解一下 item item 是保存爬取到的数据的容器； 其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。 Item 对象是种简单的容器，保存了爬取到得数据。 其提供了 类似于字典(dictionary-like) 的API以及用于声明可用字段的简单语法。 错误原因 出现这
Des.zip_cs# des密码加密_des加密16_param key_return
09-14
* 对加密密码进行解密方法 * @param key 加密的密钥 10进制（12345678） password为16进制字符串如（BED3FB28576F2BB0） 要先转为2进制 返回解密的密码明文 * @param password * @return
余弦退火算法遇到的问题
qq_43537147的博客
11-18 655
添加余弦退火衰减后遇到的问题汇总
Keras中如何设置学习率和优化器以及两者之间的关系
AI量化交易实验室
06-01 9507
Keras对优化器和学习率做了很好的封装，以至于很多人搞不清楚怎么设置学习率，怎么使用优化器，两者到底有什么区别。
学习笔记26-解决：载入预训练模型时Pytorch遇到权重不匹配的问题（附+修改后的预训练模型载入和冻结特征权重完整代码）
热门推荐
LZL2020LZL的博客
03-15 2万+
在pytorch微调mobilenetV3模型时遇到的问题 1.KeyError: ‘features.4.block.2.fc1.weight’ 这个是因为模型结构修改了，没有正确修改预训练权重，导致载入权重与模型不同，使用下面说的两种方法适当修改载入权重即可。 2.size mismatch for fc.weight: copying a param with shape torch.Size([1000, 1280]) from checkpoint, the shape in current mo
def get_lr(optimizer): for param_group in optimizer.param_groups: return param_group['lr']
最新发布
07-17
这段代码用于获取优化器的学习率（learning rate）。 首先，通过 `optimizer.param_groups` 遍历化器中的参数组。一个优化器可以有多个参数组，每个参数组可以有不同的学习率。 然后，对于每个参数组，通过 `param_group['lr']` 获取该参数组的学习率，并使用 `return` 将学习率返回。 由于该代码使用了 `return` 语句，它只会返回第一个参数组的学习率，并且不会继续遍历后面的参数组。 因此，这段代码的作用是获取优化器中第一个参数组的学习率，并将其返回。可以在训练过程中使用该函数来监控学习率的变化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tomorrow；

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值