加载预训练模型时报错 KeyError: param ‘initial_lr‘ is not specified in param_groups[0]

于 2023-06-09 13:53:57 发布
阅读量2.4k 收藏 2
点赞数 2
分类专栏： 学习笔记 bug排错 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42548340/article/details/131125986
版权

在加载预训练模型继续训练时，程序报错：KeyError: “param ‘initial_lr’ is not specified in param_groups[0] when resuming an optimizer”
解决办法： lr_scheduler = torch.optim.lr_scheduler.MultiStepLR( optimizer, cfg.TRAIN.LR_STEP, cfg.TRAIN.LR_FACTOR, last_epoch=-1 )
对代码中出现的 last_epoch 或者end_epoch设置为-1即可，亲测管用。
参考：https://discuss.pytorch.org/t/a-problem-occured-when-resuming-an-optimizer/28822

Tomorrow；
关注
专栏目录
成功解决 params, model_params = config_reader()config_reader KeyError: ‘param‘
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-01 2700
成功解决 params, model_params = config_reader()config_reader KeyError: 'param' 目录 解决问题 解决思路 解决方法 解决问题 params, model_params = config_reader() config_reader param = config['param'] File "E:\Program Files\Python\Python36\lib\site-pac...
Des.zip_cs# des密码加密_des加密16_param key_return
09-14
* 对加密密码进行解密方法 * @param key 加密的密钥 10进制（12345678） password为16进制字符串如（BED3FB28576F2BB0） 要先转为2进制 返回解密的密码明文 * @param password * @return
使用模型压缩库Distiller遇到的问题
羊藤枝的博客
04-02 2591
KeyError: "param 'initial_lr' is not specified in param_groups[0] when resuming an optimizer" 在使用下面命令训练mobilenetV1模型时，为了加快速度，我从网上下载了一个预训练模型mobilenet_sgd_68.848.pth.tar，结果如下设置时，报错如上。 python3 compress_c...
Torch 训练的一些注意点：优化器params参数 与 lr 调度器篇 [1]
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
03-30 3302
摘要： Torch 多模型的参数分组 lr_scheduler.StepLR 先建立一个实验环境 import torch import torch.optim as optim import torch.nn as nn # 这里先建立两个模型 model1 = nn.Conv1d(1, 1, 1, bias=False) model2 = nn.Conv1d(1, 1, 1, bias=False) # 自己康康打印了什么 print(model1.state_dict()) print(m
Pytorch：训练中断再恢复时的注意事项
Childhood_Sweetheart的博客
05-10 7033
参考链接：Pytorch：lr_schedule恢复训练的注意事项 import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr=1e-3) scheduler = optim.lr_scheduler.MultiStepLR(optimi
使用PyTorch加载模型部分参数方法
TracelessLe的专栏
04-10 9031
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。 方法 方法一：strict=False 直接使用load_state_dict提供的参数s
OneCycleLR 训练中断恢复问题
weixin_43832073的博客
03-02 452
pytorch 利用 torch.optim.lr_scheduler.OneCycleLR 更新学习率，中断训练之后，恢复训练。
pytorch 状态字典:state_dict使用详解
09-18
总结来说，`state_dict`是PyTorch中管理和转移模型参数的核心工具，它简化了模型的持久化和复用，对于模型训练和部署至关重要。通过理解和熟练运用`state_dict`，你可以更有效地管理模型的训练过程，并在不同环境间...
Loadrunner中web_reg_save_param的使用详解
02-04
应用范围　在使用Loadrunner进行性能测试时，经常遇到一种情况，需要通过web页面修改某事务的状态。...　参数说明:ParamName:存放得到的动态内容的参数名称listofAttributes:其它属性，包括：Notfound,LB,RB,RelFra
mybatis中foreach报错：_frch_item_0 not found的解决方法
08-30
在MyBatis中，`<foreach>`标签是用于遍历集合对象并生成SQL语句的重复部分，例如IN语句的括号内元素。然而，当你遇到“_frch_item_0 not found”这样的错误时，通常是由于在使用`<foreach>`时出现了配置或编码上的...
Pytorch训练过程中改变模型参数 requires_grad 属性
01-20
在训练过程中，有时我们可能需要在不同阶段动态地更改某些模型参数的`requires_grad`属性，例如在迁移学习中冻结预训练层的权重，或者在特定优化策略中只更新部分参数。 标题和描述中提到的方法主要针对两种情况： ...
php中bind_param()函数用法分析
10-20
bool mysqli_stmt::bind_param ( string $types , mixed &$var1 [, mixed &$... ] ) ``` 函数的第一个参数是类型字符串，用来指定每一个绑定变量的数据类型。类型字符串由一个或多个字符组成，每一个字符代表一个...
如何使用assert_param
08-03
使用assert_param高效调试STM32软件 assert_param是一种常见的软件技术，广泛应用于STM32固件库和提供的例程中。它的主要作用是检测传递给函数的参数是否是有效的参数，从而帮助程序员快速地排除那些明显的错误。在...
param_assign.rar_in
09-23
标题“param_assign.rar_in”可能指的是一个关于参数分配或设置的压缩文件，其中包含了与“in”相关的代码或配置。描述中提到“are duplicated in cciss_cmd.h”，这表明在驱动目录下的cciss_cmd.h头文件中，有一些...
resnet101预训练模型.zip（pytorch版本）
08-02
**ResNet101预训练模型**是深度学习领域中非常重要的一个模型，它基于卷积神经网络（CNN）架构，特别设计用于图像识别和计算机视觉任务。在本压缩包中，我们拥有PyTorch版本的`resnet101-5d3b4d8f.pth`权重文件，这...
Pytorch：lr_schedule恢复训练的注意事项
热门推荐
guls999的博客
01-03 1万+
  在训练过程中我们一般会使用pytorch已有的学习率调整策略，如： import torch import torch.optim as optim from torchvision.models.resnet import resnet50 net = resnet50(num_classes=1000) optimizer = optim.Adam(net.parameters(), lr...
【深度学习】(10) 自定义学习率衰减策略（指数、分段、余弦），附TensorFlow完整代码
博观而约取，厚积而薄发
04-28 6586
大家好，今天和大家分享一下如何使用 TensorFlow 自定义 指数学习率下降、阶梯学习率下降、余弦学习率下降 方法，并使用 Mnist数据集验证自定义的学习率下降策略。 创建的自定义学习率类方法，需要继承 tf.keras.optimizers.schedules.LearningRateSchedule 1. 指数学习率下降 指数学习率下降公式为： 其中代表初始的学习率，代表学习率衰减系数，代表epoch，即每次迭代学习率衰减一次 以初始学习率，学习率衰减系数，为例指数学...
pytorch笔记：调整学习率（torch.optim.lr_scheduler）
qq_40206371的博客
08-25 1万+
1 概述 torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。 2lr_scheduler调整策略举例 2.1torch.optim.lr_scheduler.LambdaLR torch.optim.lr_scheduler.LambdaLR( optimizer, lr_lambda, last_ep...
余弦退火算法遇到的问题
qq_43537147的博客
11-18 764
添加余弦退火衰减后遇到的问题汇总
def get_lr(optimizer): for param_group in optimizer.param_groups: return param_group['lr']
最新发布
07-17
这段代码用于获取优化器的学习率（learning rate）。 首先，通过 `optimizer.param_groups` 遍历化器中的参数组。一个优化器可以有多个参数组，每个参数组可以有不同的学习率。 然后，对于每个参数组，通过 `param_group['lr']` 获取该参数组的学习率，并使用 `return` 将学习率返回。 由于该代码使用了 `return` 语句，它只会返回第一个参数组的学习率，并且不会继续遍历后面的参数组。 因此，这段代码的作用是获取优化器中第一个参数组的学习率，并将其返回。可以在训练过程中使用该函数来监控学习率的变化。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tomorrow；

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值