修改模型后载入预训练权重

最新推荐文章于 2025-03-28 17:11:27 发布
最新推荐文章于 2025-03-28 17:11:27 发布
阅读量3.6k 收藏 48
点赞数 10
分类专栏： pytorch踩坑 python语法 文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43733107/article/details/126918275
版权

我们知道预训练权重是一个字典，里面是网络encoder每一层的权重，拿Resnet34来说，第一层是7x7的卷积权重，最后一层是fc层，之前看到一篇文章Bag of tricks for image classification中提到，将input stem可以替换为其他几种格式可以提高performance，相当于一个trick。

 对于(b)，我们将7x7卷积替换为3个3x3卷积，但是我们替换完之后，新的模型就和原始的权重不匹配，就会报错“missing key:”“unexpected key:”之类的。当时我想着载入部分权重，将权重中7x7的key和value删除掉，但是仍然会报错，即：没有3个3x3模型的key。

经过导师的指导，只要把load_state_dict参数里面的strict参数设置为False即可。

在nn.Module中strict函数默认为True，即模型与预训练模型参数的key是完全对应才可以导入，当你修改模型仍要使用预训练权重时候就要设置为False，只有key匹配的层才载入，不匹配的层就会默认初始化。

 因此我们在找到model载入的地方进行修改：在resnet代码中，以及在模型总的代码中修改。

model.load_state_dict(weights, strict=False)

之后可以正常运行：

 

模型训练——使用预训练权重、冻结训练以及断点恢复（使用已训练好的模型继续训练）
qq_43199575的博客
06-07 998
一般来讲，从0开始训练效果会很差，因为权值太过随机，特征提取效果不明显，所以训练时不好收敛，尤其是针对数据较少的情况。
学习笔记26-解决：载入预训练模型时Pytorch遇到权重不匹配的问题（附+修改后的预训练模型载入和冻结特征权重完整代码）
热门推荐
LZL2020LZL的博客
03-15 2万+
在pytorch微调mobilenetV3模型时遇到的问题 1.KeyError: ‘features.4.block.2.fc1.weight’ 这个是因为模型结构修改了，没有正确修改预训练权重，导致载入权重与模型不同，使用下面说的两种方法适当修改载入权重即可。 2.size mismatch for fc.weight: copying a param with shape torch.Size([1000, 1280]) from checkpoint, the shape in current mo
模型加载预训练权重
ruoruoruo666的博客
03-23 1738
将预训练好的模型加载到新的网络上。 import torch from vit_pytorch import ViT model = ViT( image_size = 256, patch_size = 8, num_classes = 33, dim = 256, depth = 6, heads = 4, mlp_dim = 256, dropout = 0.1, emb_dropout = 0.1 ) #params=model
改动模型后，加载部分预训练权重文件
weilaicxy22的博客
04-23 5137
加载部分预训练权重文件 最近在做姿态估计相关内容，需要将Hrnet模型修改，Hrnet是基于coco数据集训练的，coco数据集是17个关节点，而我需要的是15个关节点，在将数据集标好训练之后，发现由于数据量比较小，模型能够很快收敛，但是泛化性能极差，于是，就想着把之前的coco预训练权重文件拿出来一部分，对我自己的模型进行训练，果不其然，在使用部分预训练权重文件进行训练后，模型的泛化性有了很大的改善，现在分享给大家。 1首先我们需要明确权重文件的类型是什么：我们在使用pytorch进行模型训练的时候，最后
关于改进yolo后预训练权重的使用
最新发布
weixin_68748029的博客
03-28 288
你想要魔改，发个论文啥的，我建议大家都别加载。如果你要用，你敢保证你有完美匹配你结构的权重吗?如果你有自家训练的模型，那就加载呗;如果不想重新搞，那就统一都别加载就好。以上建议，希望对大家改进时有点启发。虽然加载预训练权重可能让精度更高，但问题是你的基础模型用权重，你的修改版只用部分权重，这下明显就不公平了。转自小红书411435530。
更改mobilenet网络模型后加载原模型的权重进行训练
gxmass的博客
07-11 1583
首先对于微调后的网络模型可以将load_state_dict（）函数中的参数strict=False，如 当strict = True时，要求加载的权重文件中的参数与模型中的完全匹配，设置strict = False时，即可使用权重文件中与模型匹配层的数据，其余的默认初始化。当模型更改后不能如上述情况加载预训练权重时，可以考虑获取原模型的权重加载到新模型上。主要参考：【Pytorch】修改网络后加载预训练权重_晴明大大的博客-CSDN博客_pytorch加载预训练权重...
加载预训练权重文件
小染的学习笔记
02-26 1117
加载预训练权重文件
【Pytorch】修改网络后加载预训练权重
晴明大大的创作中心
05-16 1万+
内容 本文章带大家如何给自己修改过后的网络，加载预训练权重。 很多小伙伴针对某一模型进行修改的时候，在修改模型后想要加载预训练权重，会发现频频报错，其实最主要原因就是权重的shape对应不上。 注意：以下方法仅仅针对于在原网络改动不大的情况下加载预训练权重！ 1、.pt文件----->model：从.pt文件直接加载预训练权重。 # 模板 ckpt = torch.load(weights) # 加载预训练权重 model = Model() # 创建我们的模型 model_dict = mode
训练模型时如何加载预训练权重
m0_47452894的博客
08-04 3033
这里主要介绍两种加载预训练权重的情况： 1）是所加载的预训练权重跟网络的初始权重是一一对应的，即字典的键值是对应的只是键的名称不同； 2）是所加载的预训练权重跟网络的初始权重不是一一对应的，但所加载的权重中有跟网络初始权重所对应的值 第一种情况 net_weights = net.dense.state_dict() #读取网络的初始权重，以字典的形式存在net_weights中 pre_weights = torch.load(args.save_folder + args.basenet) # 加
深度学习中修改了模型结构后，将官方的预训练权重文件转化为自己模型的权重文件
qq_1593724363的博客
03-28 1万+
0.前言： 在深度学习中，官方提供的模型预训练权重文件对于我们的训练有相当大的作用。因为这些权重文件都是官方使用大型数据集在高性能计算机上训练得到的，我们自己很难在大型数据集上训练出自己模型的预训练权重文件，再迁移到自己的数据集上，因此转化官方的权重文件为自己模型的权重文件很有必要。 1.生成自己模型权重文件： 这个就很简单啦！在进行模型训练时，训练一轮就能得到模型随机初始化的模型权重文件。这里取名my_weigths.pth 2.模型转化： ...
【深度学习实战（13）】训练框架之加载预训练权重
m0_51579041的博客
04-20 663
【深度学习实战（13）】训练框架之加载预训练权重
CV08_深度学习模块之间的缝合教学(3)--加载预训练权重
https://github.com/foxpup11?tab=repositories
07-13 1444
https://www.bilibili.com/video/BV1zT421S7yg/?spm_id_from=333.999.0.0&vd_source=7dace3632125a1ef7fd32c285eb2fbac
Pytorch预训练模型以及修改
菜鸟起飞
09-10 7971
转载：https://www.cnblogs.com/wmlj/p/9917827.html Pytorch预训练模型以及修改 pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载model如下
pytorch修改网络结构后如何加装预训练模型
Hadoop->Spark->Flink
05-19 2286
如果不知道如何使用预训练模型训练的朋友，使用resnet18模型训练自己的数据集的教程请看这篇博客 一、如果我们网络没任何修改 还是训练imagenet的数据集，1000个类别，那么只需以下代码： model_ft = models.resnet18(pretrained=True) model_ft = model_ft.to(device) 二、如果只修改训练自己数据集类别 如果我们训练自己的数据集，假如自己的数据集只有10个类别，那么需先加载预训练模型，然后修改最后的全连接层，改成以下代码加
pytorch 如何在改变基础网络之后使用预训练模型
litt1e的博客
12-17 4652
我们在做具体的项目时，经常需要我们改变基础网络，但手头上的数据有限，所以想高质量的完成项目，我们需要使用预训练模型。这里我介绍一种方法能够在改变基础网络的同时加载预训练模型。 1.在原有backbone中增加层并载入pretrained model class ResNet(nn.Module): def __init__(self, block, layers, num_classes...
pytorch 修改网络结构后加载预训练模型
听雨轩的博客
12-04 7029
训练模型时，我们通常会加入预训练模型来初始化网络。以AlexNet为例： class AlexNet(nn.Module): def __init__(self, num_classes=1000, init_weights=False): super(AlexNet, self).__init__() self.features = nn.Sequential( nn.Conv2d(3, 48, kernel_size=11, strid
yolov5之修改骨干网络后预训练权重加载
Maggie_JK的博客
07-08 4309
根据观察我们发现，由于加入了分支结构（多了4层），原模型的层的序号是发生了挪位的，比如csd.keys()中'model.4.cv1.conv.weight'这个键的值应该对应加载给model.state_dict().keys()中的‘model.8.cv1.conv.weight'此时，预训练权重加载出现问题，从更改位置开始直到最后的预训练权重是加载不上的，因为网络更改后，预训练权重的键值对和模型的键值对对应不上。然后就可以用新写的csd正常加载预训练模型了。
预训练权重到底是个啥
m0_64346597的博客
08-04 1万+
断点恢复的应用范围非常非常广。再比如，一个非常常见的情况，假如一开始设置了100个epoch，结果模型训练结束时，Loss还呈现下降的趋势，也就是模型还没有收敛，这种现象有可能就是epoch设置小了，所以可以把第100个epoch训练得到的权值文件当做初始权值文件再训练几个epoch看看，避免重新设置epoch从头训练。预训练权重，顾名思义，就是预先训练好的权重，这类权重是在大型数据集上进行训练的，训练出来的权重是普遍通用的，因此不必担心是否符合自己的实际情况，我们个人往往很难训练出预训练权重的效果。...
yolov8载入预训练权重
09-30
问题中提到的方法可以通过在yolov8模型的代码中插入一段代码来实现载入预训练权重。具体插入位置如下图所示： ``` def _new(self, m): for i in m.names: if isinstance(m.names[i], nn.BatchNorm2d): m.names[i]...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值