pytorch 加载模型权重文件时发现权重多了 module

最新推荐文章于 2024-07-10 22:12:01 发布
最新推荐文章于 2024-07-10 22:12:01 发布
阅读量453 收藏
点赞数 4
文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42877425/article/details/136499576
版权

在这里插入图片描述
最近在复现论文的时候发现，某些官方提供的权重文件的 key 会多一个 module 前缀，造成模型加载失败的问题。解决的方案有很多，比如遍历权重文件的每一个 item 手动去掉 "module."前缀。但是这样子比较麻烦。深究其原因发现是训练时使用多GPU训练导致的，因此我们在加载权重文件时，也是用官方提供的多 gpu 训练的包装器包装一下就好了。添加如下代码即可，最简单得解决这个问题

model = nn.DataParallel(model)
wingのpeterPen
关注
PyTorch 多 GPU 训练保存模型权重 key 多了 ‘module.‘
Fly2Leo的专栏
01-06 7269
使用 PyTorch 的 distributed 工具执行多 GPU 训练保存模型后，权重的 key 多了 'module.'，再次加载 state_dict 会出现 ‘“Missing key(s)” 错误。
Pytorch加载部分权重
weixin_47873308的博客
01-16 1919
Pytorch加载部分权重 在图像算法领域，我们有时会遇到训练了很长时间的网络，有时可能需要对原生网络做一些修改。比如在人脸检测项目中，已经训练好人脸框的回归，但是此时需要再加入人脸关键点，修改输出后，此时再加载网络参数一定会报错。 为了节约大量时间，我们可以迁移学习加载部分权重。 网络权重一般存储在字典中， ...
Pytorch 调试错误记录
song4348101的博客
08-29 287
Pytorch 调试错误记录 加载模型错误，加载模型参数时，关键字不匹配，每个都多了“module” 解决方法：给自己的net再套一层torch.nn.DataParallel()就行，或者在你训练的时候把这句话去掉，这句话是在你有多卡情况下用的，如果你只有一张卡可以直接去掉。 ...
深度学习模型训练中.module 后缀问题。
最新发布
Stuomasi_xiaoxin的博客
07-10 887
深度学习，模型 module. 不匹配问题。主要针对使用nn.DataParallel 的情况。
关于torch.load加载网络后，发现要用的网络每一层的名字多了前缀module.的问题
weixin_45462252的博客
01-06 2396
当发现使用如下命令加载保存好的模型，而保存好的模型比实际搭建的模型每一层的名字都多了.moudle前缀时： checkpoint = torch.load('model.pth.tar') model.load_state_dict(checkpoint['state_dict']) 可以从很多大佬的教程中找到去掉前缀的方法了，在这里就不细说了，看起来也很麻烦 这里说一下为什么会出现这个.moudle前缀，搞清楚这一点可以从根源上避免这个问题 这是因为我们在训练的代码中使用了“torch.nn.DataP
深度学习中加载权重文件时，权重参数前面出现module.怎么办
npc1236的博客
06-25 2942
发现问题 载入模型时发现模型的参数不匹配： 探究问题 打印出权重文件里面每一层的参数： checkpoint = torch.load('model_2440_0.0193.pth.tar', map_location = 'cpu') for key in checkpoint: print(key) 得到： 发现每一个权重文件前面都有module. 原因：dist模式训练的模型很可能module 解决办法 new_state_dict = {} for k,v in checkpoint
pytorch中存储各层权重参数时的命名规则，为什么有些层的名字中带module.
南国那片枫叶的博客
05-20 8952
1，对于__init__中使用self定义的变量会使用这个变量名作为存储时的名字 如下： （1）self.conv1 = nn.Conv2d(3, 12, kernel_size=3, stride=1, padding=1) 卷积层有两个参数：权重和偏移项，对应的名称为conv1.weight、conv1.bias （2）self.bn1 = nn.BatchNorm2d(12) BN层有5个参数：bn1.weight、bn...
深度学习技术栈 —— Pytorch中保存与加载权重文件
键盘国治理专家的博客
01-18 2239
在使用 nn.Module进行训练和推理时，有时需要将模型设置为评估模式，这可以通过调用eval()方法实现。在评估模式下，PyTorch 中的某些层和操作会发生一些变化，例如 Dropout 和 BatchNormalization 层会被禁用，因为它们在训练和推理时的行为是不同的。权重文件是指训练好的模型参数文件，不同的深度学习框架和模型可能使用不同的权重文件格式。没有人想让自己的辛苦白费，计算好的权重文件就应该保存下来，不仅方便自己，也方便他人。
pytorch 多卡并行计算保存模型和加载模型 （遗漏module的解决）
t20134297的博客
05-29 3345
今天使用了多卡进行训练，保存的时候直接是用了下面的代码： torch.save(net.cpu().state_dict(),'epoch1.pth') 我在测试的时候，想要加载这个训练好的模型，但是报错了，说是字典中的关键字不匹配，我就将新创建的模型，和加载的模型中的关键字都打印了出来，发现夹杂的模型的每个关键字都多了module. 。解决方式为： pre_dict = torch.load('./epoch1.pth') new_pre = {} for k,v in pre_dict.ite
pytorch加载darknet权重文件
random_repick的专栏
08-10 2993
pytorch加载darknet权重文件
pytorch模型加载测试_pytorch加载模型和初始化权重
weixin_36232899的博客
12-29 1339
1. 初始化权重对网络中的某一层进行初始化self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3)init.xavier_uniform(self.conv1.weight)init.constant(self.conv1.bias, 0.1)对网络的整体进行初始化:def weights_init(m):classname...
pytorch查看模型weight与grad方式
12-17
在用pdb debug的时候，有时候需要看一下特定layer的权重以及相应的梯度信息，如何查看呢？ 1. 首先把你的模型打印出来，像这样 2. 然后观察到model下面有module的key，module下面有features的key， features下面有...
pytorch加载自定义网络权重的实现
12-23
在某些情况下，你可能需要处理键的命名空间，特别是当加载预训练模型或在子类化`nn.Module`时。 在PyTorch中，`state_dict()`和`load_state_dict()`是非常关键的工具，用于模型的持久化和恢复。了解如何正确地保存...
pytorch动态网络以及权重共享实例
09-18
本篇文章主要介绍了PyTorch框架中的动态网络以及权重共享的概念和应用...通过本文的介绍和示例代码，读者可以对PyTorch中的动态网络构建和权重共享有一个初步的理解，并在实际应用中尝试使用这些技术优化自己的模型。
加载 DataParallel封装模型的训练权重
m0_48209770的博客
03-07 426
如果您在训练时使用了 DataParallel，则加载的权重文件可能包含额外的模块前缀（如 module）。您需要处理这些前缀以匹配您的模型。
pytorch存储/加载模型及多GPUs条件下的注意事项
猪猪后花园
07-08 215
一、存储/加载模型 可以选择保存整体model网络结构和参数 PATH = 'saved_model.pth' # 保存整个model： torch.save(model_0, PATH) # 加载整个model： model_1 = torch.load(PATH) or只保存model参数 PATH = 'saved_model.pth' # 由于只加载参数，因此需要提前定义网络结构，例如： class Net(nn.Module): ... # 只保存参数: torch.save(model_0.s
【pytorch】多GPU训练模型的保存和加载
rocking_struggling的博客
08-09 1446
pytorch中多GPU模型加载和保存需要注意的一些问题
pytorch加载模型错误 RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict
edward_zcl的博客
04-28 3055
模型在保存时侯以键对值保存，同时在加载时根据现在网络的键值查找模型对应的键值，然后加载。一般报错是因为模型和网络的键值不匹配。 1、最常见的问题是键值多了或者少了 module. 此种情况是模型在DataParallel或者DDP训练后保存的键值有module. ，对应的网络的键值则没有module. 1)可以通过： model = nn.DataParallel(model) 将模型的键值...
pytorch 多卡训练碰到的问题及解决方案
911的专栏
05-19 4034
1、多卡训练后模型命名多了'module.' 这样在读取模型的时候需要添加关键字名 下面用一个模型读取的函数举例，核心部分是'changed'部分 def load_params_from_file_v2(model, filename, opt=None, to_cpu=False): if not os.path.isfile(filename): raise FileNotFoundError print('==> Loading par
加载yolov4用pytorch的模型和权重
05-25
首先，你需要下载和安装PyTorch。然后，你可以使用以下代码加载yolov4的PyTorch模型和权重： ```python import torch import torch.nn as nn # 定义YoloV4的网络结构 class YoloV4(nn.Module): def __init__(self): super(YoloV4, self).__init__() # TODO: 定义网络结构 def forward(self, x): # TODO: 定义前向传播过程 # 加载权重 model = YoloV4() model.load_state_dict(torch.load('yolov4.weights')) # 将模型转换为eval模式 model.eval() ``` 请注意，这只是一个示例代码，并且你需要根据你选择的框架版本和模型结构进行修改。此外，你还需要将权重文件下载到本地，并在代码中指定权重文件的路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值