解决torch.load中Unexpected key(s) in state_dict的报错问题

最新推荐文章于 2024-04-16 00:15:47 发布
最新推荐文章于 2024-04-16 00:15:47 发布
阅读量1.3k 收藏 4
点赞数 5
文章标签： 人工智能 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51007334/article/details/132424424
版权

解决torch.load中Unexpected key(s) in state_dict的报错问题

问题发现

今天在使用强化学习跑实验的时候，使用到了torch.load_state_dict()这个函数，从已经保存的pth文件中加载模型权重。但是加载的过程中，出现了Unexpected key(s) in state_dict的错误。

问题排查

  1. 我看了看写的代码，发现模型保存和模型加载用到的都是同一份模型文件，按理说应该不会存在问题。
  2. 再仔细钻研了以下，发现Unexpected key(s) in state_dict 错误出现的地方是模型中一些常量的保存，比如说nn.Parameter()的保存。查了下chatgpt，找到了解决方法：只需要在加载文件的时候适用Strict=False 这一行代码使模型能允许加载模型时部分键不匹配。
    在这里插入图片描述
生化环材越老越吃香
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked"
jacke121的专栏
09-07 1万+
pytorch预测的时候报异常了： {RuntimeError}Error(s) in loading state_dict for DataParallel:     Unexpected key(s) in state_dict: "module.backbone.bn1.num_batches_tracked", "module.backbone.shuffles.ShuffleConvs_...
pytorch 状态字典:state_dict使用详解
12-23
pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数建立映射关系.(如model的每一层的weights及偏置等等) (注意,只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,...
关于model.load_state_dict(state_dict)报错出现权重与模型不匹配的问题
m0_73585512的博客
07-20 2886
保存模型时可能将该模型的BLEU等非模型权重的参数一同保存了（该参数用于比较得出checkpoint_best，应该是有被存储以下的)(state_dict)报错出现权重与模型不匹配。的strict参数指定为false，即。1）根据报错内容定位到代码的位置。2）将 model.
pytorch错误解决：Missing key(s) in state_dict: Unexpected key(s) in state_dict:
热门推荐
u013925378的博客
03-09 2万+
在进行模型测试时报错： Missing key(s) in state_dict: xxxxxxxxxx Unexpected key(s) in state_dict:xxxxxxxxxx 报错原因： 在模型训练时有加上：【可以加速训练速度】 model = nn.DataParallel(model) #cudnn.benchmark = True 但是在模型测试推断时，在...
【pytorch载入模型报错解决】Missing key(s) in state_dict、Unexpected key(s) in state_dict
最新发布
kiong_的博客
04-16 1063
但这样有一个很直观的问题：许多参数都没找到，strict=False只会导致几乎所有参数都无法加载进来。
Unexpected key(s) in state_dict解决方案
hihui1231的博客
11-07 4322
Unexpected key(s) in state_dict
Unexpected key(s) in state_dict: “embeddings.position_ids“.
weixin_43480922的博客
03-11 2525
https://github.com/facebookresearch/DPR/issues/165
torch加载bert模型报错Unexpected key(s) in state_dict: “bert.embeddings.position_ids“.
weixin_43881931的博客
07-20 1505
transformers版本问题，用4.26.1。
【pytorch加载模型错误】Unexpected key(s) in state_dict: “epoch“, “arch“, “state_dict“, “optimizer“, “args“
重剑无锋博客
11-30 1694
Unexpected key(s) in state_dict
加载模型报错Missing key(s) in state_dict:
qq_40071917的博客
06-21 1万+
引用 说明：比如我们之前定义的一个模型model_1，训练之后保存了模型参数，命名为checkpoint_1；然后我们在model_1的基础上修改了模型，在内部添加了一些新的参数（或者更改了参数的名称），命名为model_2，训练之后保存了模型参数，命名为checkpoint_2。 一般而言，我们在测试时，使用的模型model，要加载相应的模型参数信息，即checkpoint。 1，如果我们使用的模型是model_1，而加载的模型参数是checkpoint_2，这时可能会出现Unexpected key(
torch.cuda.is_available（）返回False解决方案
12-21
但是在查看代码是看到这里是一个and，参数args.no_cuda是设置的Flase，所以问题因为在torch.cuda.is_available()，没有获得cuda加速。 查看深度学习环境搭建torch.cuda.is_available()这里返回了
fb.resnet.torch-master.zip_ResNet_ResNet深度学习_facebook_torch resn
09-20
facebook公司开发的基于torch的残差网络深度学习模型
torch.cuda.is_available()返回False的问题解决
04-02
torch.cuda.is_available()返回False的问题解决
解决pytorch-yolov3 train 报错的问题
12-20
UserWarning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead https://github.com/eriklindernoren/PyTorch-YOLOv3/blob/master/models.py#L191 将model.py  obj_...
Unexpected key(s) in state_dict: “module.backbone.bn1.num_batches_tracked“
牛肉胡辣汤
11-06 1388
当加载保存的​​时，出现​​错误通常是由于键名不匹配引起的。我们可以通过查看模型的键名和保存的​​的键名来找出不匹配的键，并相应地修改它们。另外，使用​​包装模型可以解决多GPU训练导致的键名前缀问题。希望本文能帮助你解决​​错误，并顺利加载模型参数。
【持续更新】训练自己模型时遇到的bug合集
hu_yinghui的博客
10-24 2044
训练自己模型时的bug合集
【无标题】加载自己的torch模型时报错，Unexpected key(s) in state_dict: “it“, “network“, “optimizer“, “scheduler“.
weixin_43393984的博客
08-30 325
pytorch加载自己的模型报错
PyTorch加载模型碰到Missing key(s) in state_dict报错
helloful的博客
05-06 1万+
问题描述 在PyTorch训练好模型以后，需要加载模型，加载模型代码如下 ckpt = torch.load(model_path_len) model.load_state_dict(ckpt['state_dict']) 结果碰到的问题为：Missing key(s) in state_dict raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format( RuntimeError: Error(s) in
执行model.load_state_dict报错map_location=torch.device(‘cpu‘)以及Unexpected key(s) in state_dict
m0_56222998的博客
08-02 1667
本蒟蒻原先是在有GPU的服务器上训练得到了模型，现在想在没有GPU的服务器部署网页，需要加载该模型，当运行了下面代码时。是因为没有将state_dict转移到CPU上，在PyTorch中，可以通过指定。仔细查看提示信息，发现是有一个未知的Key，我把它删掉竟然就跑通了。我打印出了两台服务器中state_dict的内容。打印的内容都是一样的，都是下面的内容。
RuntimeError: Error(s) in loading state_dict for UNet: Unexpected key(s) in state_dict:
12-14
当出现"RuntimeError: Error(s) in loading state_dict for UNet: Unexpected key(s) in state_dict"错误时，这意味着在加载模型参数时，state_dict中的键与模型中的键不匹配。这可能是由于模型结构的更改或使用不同的模型架构导致的。为了解决这个问题，可以使用以下方法： 1.检查模型结构是否与保存的模型参数相同。如果模型结构已更改，则需要相应地更改保存的模型参数。 2.如果模型结构相同，则需要检查state_dict中的键和模型中的键是否匹配。可以使用以下代码检查它们： ```python model = UNet() state_dict = torch.load(PATH) for k in state_dict.keys(): if k not in model.state_dict().keys(): print('Unexpected key in state_dict:', k) ``` 3.如果发现不匹配的键，则需要将state_dict中的键重命名为模型中的键。可以使用以下代码实现： ```python model = UNet() state_dict = torch.load(PATH) new_state_dict = {} for k, v in state_dict.items(): name = k if k.startswith('module.'): name = k[7:] # 去掉'module.'前缀 new_state_dict[name] = v model.load_state_dict(new_state_dict) ``` 以上是解决"RuntimeError: Error(s) in loading state_dict for UNet: Unexpected key(s) in state_dict"错误的方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值