解决KeyError: 'unexpected key "module.encoder.embedding.weight" in state_dict'

最新推荐文章于 2024-05-22 20:29:23 发布
最新推荐文章于 2024-05-22 20:29:23 发布
阅读量2k 收藏 1
点赞数 1
分类专栏： 深度学习框架日常踩坑记录 文章标签： unexprcted key
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43310928/article/details/88680156
版权

原因：

可能是之前训练的时候开了nn.DataParallel，造成了储存模型的时候是放在module里面的。

解决方案：

1、关掉nn.DataParallel 重新训练权重文件
2、模型参数文件是以OrderDict储存，可以手动去除尝试一下
3、新的模型训练的时候开启nn.DataParallel尝试一下

FXY.jpg
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 预训练model加载问题”Unexpected key(s) in state_dict:“
qq_23116521的博客
03-02 1万+
预训练模型使用 model = ResNet50() model = nn.DataParallel(model).cuda() 加载预训练模型是使用 model = ResNet50().cuda() checkpoint = torch.load(args.net_cache) model.load_state_dict(checkpoint['state_...
KeyError: ‘unexpected key “module.encoder.embedding.weight” in state_dict’
junjian Li
12-08 898
最近在跑模型的时候出现了KeyError: ‘unexpected key “module.encoder.embedding.weight” in state_dict’错误。记录一下： 1。这可能是因为你使用了nn.DataParallel来存储模型module，而你现在尝试不使用加载模型DataParallel直接加载模型，所以就出现了这个bug。 解决方法： 1.你可以先将model加载到DataParallel：mdoel = torch.nn.DataParallel(model)，然后再加载预
python报错keyerror怎么解决
最新发布
hakesashou的博客
05-22 1194
利用dict内置的setdefault(key[,default])方法，如果key存在，则返回其value;否则插入此key，其value为default，并返回default;利用dict内置的get(key[,default])方法，如果key存在，则返回其value,否则返回default;
Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-06 1470
当加载保存的​​时，出现​​错误通常是由于键名不匹配引起的。我们可以通过查看模型的键名和保存的​​的键名来找出不匹配的键，并相应地修改它们。另外，使用​​包装模型可以解决多GPU训练导致的键名前缀问题。希望本文能帮助你解决​​错误，并顺利加载模型参数。
【React-native】 "Unexpected keys "xxx" found in previous state received by the reducer.Unexpected key
冯一朔 - 有思考的程序员
08-29 1909
今天，莫名启动项目发现一个报错，如下： 造成原因： 使用redux-persist 缓存 redux 中的数据，两个不同项目中的persistConfig 中 key 相同了。 解决： persistConfig 中 key 每个项目保持唯一： const persistConfig = { key: '1560392485_project', // 对于数据 key...
【KeyError: ‘unexpected key “module.*****“】【KeyError: ‘unexpected key “net.“】
github_38575699的博客
04-15 181
下载的预训练模型显示key不对，
Unexpected key(s) in state_dict解决方案
hihui1231的博客
11-07 4351
Unexpected key(s) in state_dict
JS提示：Uncaught SyntaxError:Unexpected token ) 错误的解决方法
10-21
主要介绍了JS提示：Uncaught SyntaxError:Unexpected token ) 错误的解决方法,结合实例形式分析了javascript提示此类异常的常见原因与相关解决方法,需要的朋友可以参考下
CentOS7运行.sh脚本提示syntax error: unexpected end of file的解决方法
01-20
CentOS 7运行.sh脚本提示syntax error: unexpected end of file。脚本是通过本地电脑的notepad++编辑之后用ftp上传到CentOS 7服务器上的。 错误原因： shell脚本在本地电脑编辑的，格式是dos（可以用vi编辑该shell...
JS提示：Uncaught SyntaxError: Unexpected token ILLEGAL错误的解决方法
10-21
在JavaScript编程中，`Uncaught SyntaxError: Unexpected token ILLEGAL` 是一个常见的错误，它通常意味着解析器在解析代码时遇到了一个无法识别的字符或符号，导致语法错误。这个错误通常发生在代码的某个地方违反...
javax.net.ssl.SSLException: java.lang.RuntimeException: Could not generate DH keypair 解决方法总结
08-25
通过以上步骤，大多数情况下可以成功解决“Could not generate DH keypair”异常。如果问题仍然存在，可能需要进一步检查Java的其他安全设置，或者排查网络环境中的其他可能问题。同时，保持Java和相关库的更新也很...
“torch.load“中出现的“Unexpected key(s) in state_dict“报错问题
weixin_43723625的博客
10-17 2200
允许加载过程中出现不匹配的键。但请注意,仍然需要确保模型中的主要参数能够正确加载，以确保模型的有效性。
解决torch.load中Unexpected key(s) in state_dict的报错问题
weixin_51007334的博客
08-22 1447
今天在使用强化学习跑实验的时候，使用到了这个函数，从已经保存的pth文件中加载模型权重。但是加载的过程中，出现了错误。
pytorch 版本不同造成 Missing key(s) in state_dict 和 Unexpected key(s) in state_dict
不解不惑
11-15 1453
pytorch 版本不同出现Missing key(s) in state_dict: Unexpected key(s) in state_dict:
KeyError: ‘conv1.1.0.weight‘
weixin_44905678的博客
09-28 3349
KeyError: ‘conv1.1.0.weight‘ 最近在训练faster rcnn +resnet101时，出现了很多问题。 先是训练VOC2007数据集，训练了一周没有框。后来发现原因是载入权值出现了问题，应该这样去载入。 def resnet101(pretrained=False, **kwargs): model = ResNet(Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: model.load_st
解决DETR模型参数不匹配size mismatch for class_embed.weight:~([4, 256]) from checkpoint,~current([3,256]).
qq_59409332的博客
07-05 527
复现DETR模型时遇到 RuntimeError: Error(s) in loading state_dict for DETR: size mismatch for class_embed.weight: copying a param with shape torch.Size([4, 256]) from checkpoint, the shape in current model is torch.Size([3, 256]).
Python中KeyError: 的解决方法
热门推荐
学习永无止境
02-22 12万+
出现这种错误，首先要看一下你是否使用了字典，错误提示的意思是找不到对应的键值。 例如，给定如下字典： book_dict = {"price": 500, "bookName": "Python设计", "weight": "250g"} 若是查找字典中存在的key，则正常输出： print(book_dict["price"]) 运行结果如下： 若是查找字典中不存在的key，则报错： print(book_dict["sdfs"]) 如上所示，报错提示就是KeyError:。对于这种问题，可以使
解决Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-17 1207
这个错误通常是由于保存模型参数时使用的模型状态字典（state_dict）与加载模型时使用的模型结构不匹配导致的。当我们加载模型参数时，PyTorch会根据state_dict中的key与模型中的参数进行匹配，然后将参数值加载到对应的模型中。然而，加载模型时，模型结构中没有找到与该参数名称对应的模型参数，因此出现了Unexpected key(s)的错误提示。我们想要加载预训练的ResNet模型参数，但是由于state_dict中的key与模型结构不匹配，我们使用for循环手动删除了不匹配的key。
windows10搭建llama大模型
逍遥壮士
09-10 2467
背景随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。根据参数规模，Meta提供了70亿、130亿、330亿和650...
RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids".
09-13
您遇到的问题是RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids"。根据您提供的引用内容，这个错误是由于加载的模型参数与模型结构不匹配导致的。具体来说，"bert.embeddings.position_ids"是一个在模型结构中没有的键。 解决这个问题的方法是检查您加载的模型参数和模型结构是否匹配。如果模型结构中确实没有"bert.embeddings.position_ids"这个键，那么您可以尝试通过删除这个键来加载模型参数。您可以使用`state_dict.pop("bert.embeddings.position_ids")`来删除这个键。 另外，根据您提供的引用内容[1]，您还可以尝试使用`self.bert.load_state_dict(ckpt["bert-base"], False)`来加载模型参数。这个方法可以在加载模型参数时忽略不匹配的键，但需要注意确保其他键的匹配。 综上所述，解决"RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids""的方法可以包括： 1. 检查模型参数和模型结构是否匹配，删除不匹配的键。 2. 使用`self.bert.load_state_dict(ckpt["bert-base"], False)`加载模型参数，忽略不匹配的键。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值