关于torch框架load_state_dict失效的问题

最新推荐文章于 2024-05-10 19:31:18 发布
最新推荐文章于 2024-05-10 19:31:18 发布
阅读量556 收藏 1
点赞数
文章标签： 深度学习 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_58158487/article/details/130369178
版权

在加载之前训练的模型时,发现加载模型的训练效果和随机初始化效果相同,经检查发现是load_state_dict函数中strict=False的原因,也就是说之前训练的参数并未加载到模型中训练,改为True后发现如下报错:

Missing key(s) in state_dict: "word_context1", "word_context2", "word_context3", "word_context4",....

Unexpected key(s) in state_dict: "module.word_context1", "module.word_context2", "module.word_context3", "module.word_context4", .....

发现多出module的参数,经查阅相关资料后改正:

model.load_state_dict({k.replace('module.',''):v for k,v in torch.load(model_save_path).items()})

恢复了之前训练效果

明翥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch 状态字典:state_dict使用详解
12-23
pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数建立映射关系.(如model的每一层的weights及偏置等等) (注意,只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,...
关于model.load_state_dict(state_dict)报错出现权重与模型不匹配的问题
m0_73585512的博客
07-20 2802
保存模型时可能将该模型的BLEU等非模型权重的参数一同保存了（该参数用于比较得出checkpoint_best，应该是有被存储以下的)(state_dict)报错出现权重与模型不匹配。的strict参数指定为false，即。1）根据报错内容定位到代码的位置。2）将 model.
model.load_state_dict(state_dict, strict=False)
t20134297的博客
12-03 4万+
我们在构造好了一个模型后，可能要加载一些训练好的模型参数。举例子如下： 假设 trained.pth 是一个训练好的网络的模型参数存储 model = Net()是我们刚刚生成的一个新模型，我们希望model将trained.pth中的参数加载加载进来，但是model中多了一些trained.pth中不存在的参数，如果使用下面的命令： model.load_state_dict(state_dict) 会报错，说key对应不上，因为model你强人所难，我堂堂trained.pth没有你的那些个.
torch.load中strict=False的用法
weixin_73101319的博客
03-08 366
你可以在加载权重时灵活地处理缺失或多余的参数。，表示加载的状态字典必须严格匹配模型的结构，即模型的所有参数的名称和形状必须完全匹配。这行代码是使用PyTorch加载预训练模型权重时常见的用法。状态字典是一个Python字典对象，它包含了模型的权重和偏置等参数。，则允许加载的状态字典中存在一些缺失参数或者多余参数，而不会引发错误。用于将加载的权重映射到指定的设备（如CPU或GPU）上。: 这个参数控制着加载权重时的严格性。类的一个方法，用于加载模型的状态字典。方法将加载的权重加载到模型中。
pytorch load_state_dict不生效
bagba的知识分享库
07-15 1037
有时候我们会发现，pytorch load一个保存好的模型dict到一个新的模型对象的时候，并没有加载dict里面的数据。原因其实是因为.cuda()
torch DDP训练-模型保存-加载问题
这些个事儿
09-16 7569
单GPU保存与加载： 模型保存： ####方法一 state = {'epoch': epoch, 'model': model.state_dict(), 'optimizer': optimizer.state_dict(), 'scheduler': scheduler.state_dict()} torch.save(state, 'model_path') ####方法二 torch.save(self.model.state_dict.
pytorch 状态字典:state_dict
wzg2016的博客
10-21 3万+
pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数建立映射关系.(如model的每一层的weights及偏置等等) (注意,只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,线性层等等) 优化器对象Optimizer也有一个state_dict,它包含了优化器的状态以及被使用的超参数(如lr, momentu...
model.load_state_dict(state_dict)报错出现参数与模型不匹配
weixin_40198079的博客
06-27 3014
model.load_state_dict(state_dict)报错出现参数与模型不匹配
pytorch加载模型 model.load_state_dict 报错RuntimeError(‘Error(s) in loading state_dict
weixin_46306002的博客
12-02 1765
pytorch加载模型报错
torch_smooth_signal_torch_signalprocessing_
09-29
torch; smooth signal; python
Mnist-Torch_torch_Mnist-Torch_
10-03
mnist图片集分类 pytorch实现
seq2seq_tutorial_torch.rar_Torch tutorial_seq2seq_torch_英文到数字的转化
09-21
这个是一个端到端的英文到数字转化的教程代码，欢迎大家下载！
RetinaFace+arcface_torch人脸识别.zip
03-31
RetinaFace+arcface_torch人脸识别，效果比https://download.csdn.net/download/qq_26696715/16126478略差
【PyTorch】教程：torch.nn.ModuleDict
02-17 1666
将所有的子模块放到一个字典中。ModuleDict可以像常规Python字典一样进行索引，但它包含的模块已正确注册，所有Module方法都可以看到。ModuleDict是一个字典。– 一个（）映射（字典）或者可迭代的键值对。clear移除ModuleDict里所有的子模块。items返回 ModuleDict 键值对的迭代器keys返回ModuleDict键的可迭代项。返回： Iterable[str]popkey (str)– 从ModuleDict弹出的键返回：Module。
strict=False后还是报错RuntimeError: Error(s) in loading state_dict for Siamese:
heromps的博客
10-22 691
我们知道通过可以暂且忽略掉模型和参数文件中不匹配的参数，先将正常匹配的参数从文件中载入模型。一开始感觉很奇怪，我已经写明strict=False了，不匹配参数的不管就是了，为什么还要给我报错。
torch.load_state_dict()用法
G_inkk的博客
08-26 4055
在Pytorch中构建好一个模型后，一般需要进行预训练权重中加载。torch.load_state_dict()函数就是用于将预训练的参数权重加载到新的模型之中。 net = torchvision.models.resnte50(pretrained=False) net.load_state_dict(torch.load('*.pth'), strict=True) 当strict=True,要求预训练权重层数的键值与新构建的模型中的权重层数名称完全吻合；如果新构建的模型在层数上进行了部分微调，则上
pytorch只想对模型加载部分参数
Yonggie的博客
05-10 2480
前言 对一个torch模型保存可以使用save dict操作，其本质是一个字典，字典的k是string，表示参数所在的层，v是此层的参数。可以自己debug看看 对于模型来说，load_state_dict可以加载之前保存的参数字典，此函数有一个参数，是是否严格加载参数。 model.load_state_dict(related_params, strict=True) 默认strict是False，当权重中的key和网络中匹配就加载，不匹配就跳过。 如果strict是True，那必须完全匹配，不然就报
torch之模型加载load_state_dict
热门推荐
Nicola.Zhang
09-02 10万+
ERROR：PyTorch加载模型model.load_state_dict()问题，Unexpected key(s) in state_dict: "module.features…，Expected . 希望将训练好的模型加载到新的网络上。如上面题目所描述的，PyTorch在加载之前保存的模型参数的时候，遇到了问题。 Unexpected key(s) in state_dict: "mod...
深度学习之前馈神经网络
最新发布
2401_83576060的博客
05-10 973
numpy是科学计算基础包pandas能方便处理结构化数据和函数matplotlib主要用于绘制图表。
torch.load_state_dict(
08-23
你想要问的是关于 `torch.load_state_dict()` 函数的用法吗？这个函数是用来加载预训练模型的参数字典的。它接受一个字典作为输入，并将其加载到模型的状态中。 你可以使用 `torch.load_state_dict()` 函数来加载预...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值