Huggingface填坑：Unexpected key(s) in state_dict: “roberta.pooler.dense.weight“....

最新推荐文章于 2023-11-06 09:25:18 发布
最新推荐文章于 2023-11-06 09:25:18 发布
阅读量2.5k 收藏
点赞数 2
分类专栏： huggingface nlp 文章标签： python nlp 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42105164/article/details/120923297
版权

在加载已经训练好的模型时，出现问题如下：

RuntimeError: Error(s) in loading state_dict for RobertaForSequenceClassification:
        Unexpected key(s) in state_dict: "roberta.pooler.dense.weight", "roberta.pooler.dense.bias".

先说原因

版本问题！
在huggingface3.1.0中，roberta相关模型的实现是12层transformers+一层pooling+一层由下游任务决定的输出层
但到了huggingface4.10.2以即之后版本（3.1.0~4.10.2之间的版本我没测试），roberta相关模型的实现变成了12层transformers+一层由下游任务决定的输出层，所以会出现上面的问题！

解决方法

最低0.47元/天 解锁文章
菜比
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked"
jacke121的专栏
09-07 1万+
pytorch预测的时候报异常了： {RuntimeError}Error(s) in loading state_dict for DataParallel:     Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked", "module.backbone.shuffles.ShuffleConvs_...
pytorch错误解决：Missing key(s) in state_dict: Unexpected key(s) in state_dict:
热门推荐
u013925378的博客
03-09 2万+
在进行模型测试时报错： Missing key(s) in state_dict: xxxxxxxxxx Unexpected key(s) in state_dict:xxxxxxxxxx 报错原因： 在模型训练时有加上：【可以加速训练速度】 model = nn.DataParallel(model) #cudnn.benchmark = True 但是在模型测试推断时，在...
Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-06 1547
当加载保存的​​时，出现​​错误通常是由于键名不匹配引起的。我们可以通过查看模型的键名和保存的​​的键名来找出不匹配的键，并相应地修改它们。另外，使用​​包装模型可以解决多GPU训练导致的键名前缀问题。希望本文能帮助你解决​​错误，并顺利加载模型参数。
【pytorch加载模型错误】Unexpected key(s) in state_dict: “epoch“, “arch“, “state_dict“, “optimizer“, “args“
重剑无锋博客
11-30 1733
Unexpected key(s) in state_dict
Anaconda3-2020.11-Linux-x86_64.sh
01-08
Anaconda3-2020.11-Linux-x86_64.sh
CentOS7运行.sh脚本提示syntax error: unexpected end of file的解决方法
01-20
CentOS 7运行.sh脚本提示syntax error: unexpected end of file。脚本是通过本地电脑的notepad++编辑之后用ftp上传到CentOS 7服务器上的。 错误原因： shell脚本在本地电脑编辑的，格式是dos（可以用vi编辑该shell...
Java java.lang.ExceptionInInitializerError 错误如何解决
08-30
`java.lang.ExceptionInInitializerError` 是Java编程语言中一个特殊的运行时异常，它通常表示在类的静态初始化过程中发生了异常。这个错误不是因为类的构造函数，而是由于静态变量初始化或者静态初始化块（也称为...
Xposed full.xml.gz
07-25
Xposed框架用到的full.xml.gz，适用于模拟器
qull.min.js,image-resize.min.js，uniappH5端editor富文本报错问题
最新发布
12-22
qull.min.js,image-resize.min.js qull.min.js image-resize.min.js uniapp——内网部署H5端editor富文本报错问题 亲测有效 免费下载
Unexpected key(s) in state_dict: “module.conv1.weight“, “module.bn1.weight“, “module.bn1.bias“,
qq_44169314的博客
03-20 3601
由于服务器老是断电 所以想加载已经训练好的上一个epoch的模型，但是在加载时遇到了这个问题 这是由于保存模型字典时每一个模块的key都自动加上了‘module’。所以在加载模型参数继续训练时就会与模型对不上号。 RuntimeError: Error(s) in loading state_dict for ResNet: Unexpected key(s) in state_dict: "module.conv1.weight", "module.bn1.weight", "module.bn1.bi
pytorch 预训练model加载问题”Unexpected key(s) in state_dict:“
qq_23116521的博客
03-02 1万+
预训练模型使用 model = ResNet50() model = nn.DataParallel(model).cuda() 加载预训练模型是使用 model = ResNet50().cuda() checkpoint = torch.load(args.net_cache) model.load_state_dict(checkpoint['state_...
Unexpected key(s) in state_dict
weixin_43487041的博客
04-16 6046
训练多层网络后测试 报错. RuntimeError: Error(s) in loading state_dict for Net_Atv: Unexpected key(s) in state_dict: "net.30.conv1.weight", "net.30.conv1.bias", "net.30.conv2.weight", "net.30.conv2.bias", "net...
Pytorch：Unexpected key(s) in state_dict:
wchzh2015的博客
12-25 1万+
实验环境 pytorch 0.4 Python 3.6 在使用交叉验证后，将保存的模型重新加载求平均的结果。但是出现了以下的错误。 实验的bug截图 在此感谢这篇博文：https://blog.csdn.net/jacke121/article/details/82495184 自己修改后的关键代码如下： model_resnet101 = get_net...
[Error]pytorch加载模型权重出现问题Unexpected key(s) in state_dict: “module.backbone.0.weight“,
qq_51682716的博客
05-16 2041
[Error]pytorch加载模型权重出现问题Unexpected key(s) in state_dict: “module.backbone.0.weight”, 参考链接：https://zhuanlan.zhihu.com/p/402293541 问题原因：训练好的模型权重，加载进行测试时报错，原因是权重中含有的网络模型的各个layer与block的名称与网络不对应，且前缀加了个module. 原因分析： 训练模型中使用到 1 model = ResNet50() 2 model = nn.Dat
PyTorch多GPU模型保存和加载的一个注意事项-Unexpected key(s) in state_dict
Stoneplay
05-28 1629
用PyTorch加载已经保存好的模型参数文件时遇到一个bug： Unexpected key(s) in state_dict: “module.features. …”.，Expected “.features…” 意思是从本地文件中加载模型的state_dict时，state_dict的key值不匹配。查了一些资料后，发现是PyTorch多gpu保存的问题，导致保存下来的state_dict中的key比原来都多了一个module，因此出现了上述这个问题。下面简单验证一下。 import torch
Unexpected key(s) in state_dict: “model“
weiyuangong的博客
05-26 1470
问题描述：加载预训练权重时报错Unexpected key(s) in state_dict: "model" weight_dic_path = 'convnext_base_1k_224.pth' state_dic=torch.load(weight_dic_path,map_location=device) model.load_state_dict(state_dic) 解决方法： weight_dic_path = 'convnext_base_1k_224.pth' state_dic
Missing key(s) in state_dict: Unexpected key(s) in state_dict:
秀呀秀的博客
11-15 5104
如果加载的预训练模型之前使用了torch.nn.DataParallel()，而此时的训练并没有使用，则会出现这样的错误。 解决方案有两个： 1：此时的训练加入torch.nn.DataParallel()即可。 2：创建一个没有module.的新字典，即将原来字典中module.删除掉。 解决方案1： model = torch.nn.DataParallel(model) cudn...
RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids".
09-13
您遇到的问题是RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids"。根据您提供的引用内容，这个错误是由于加载的模型参数与模型结构不匹配导致的。具体来说，"bert.embeddings.position_ids"是一个在模型结构中没有的键。 解决这个问题的方法是检查您加载的模型参数和模型结构是否匹配。如果模型结构中确实没有"bert.embeddings.position_ids"这个键，那么您可以尝试通过删除这个键来加载模型参数。您可以使用`state_dict.pop("bert.embeddings.position_ids")`来删除这个键。 另外，根据您提供的引用内容[1]，您还可以尝试使用`self.bert.load_state_dict(ckpt["bert-base"], False)`来加载模型参数。这个方法可以在加载模型参数时忽略不匹配的键，但需要注意确保其他键的匹配。 综上所述，解决"RuntimeError: Error(s) in loading state_dict for BertNer: Unexpected key(s) in state_dict: "bert.embeddings.position_ids""的方法可以包括： 1. 检查模型参数和模型结构是否匹配，删除不匹配的键。 2. 使用`self.bert.load_state_dict(ckpt["bert-base"], False)`加载模型参数，忽略不匹配的键。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值