加载预训练模型时，出现键值/前缀不同及网络结构不同的问题

最新推荐文章于 2024-07-14 23:26:10 发布
最新推荐文章于 2024-07-14 23:26:10 发布
阅读量732 收藏 2
点赞数
文章标签： 预训练权重 模型加载 键值对应 模型结构调整 权重迁移
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49626999/article/details/120302836
版权 
    pretrained_dict = torch.load(model_path) #从预训练文件中获取预训练权重
#修改键值名称
    model_dict = model.state_dict() 
    new_dict = {k[15:]: v for k, v in pretrained_dict.items()}
#找相同的键值对
    backbone_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict.items()}
    model_dict.update(backbone_dict)
    model.load_state_dict(model_dict)

爱学习的大志
关注
面向司法领域的人脸识别与身份验证系统：数据结构与算法深度解析
一键难忘的博客
10-01 1806
人脸检测：从图像或视频流中检测并提取人脸。特征提取：从检测到的人脸中提取出关键特征向量，通常使用深度学习算法。身份验证：将提取的特征向量与已知的身份库进行匹配，以验证身份。每个模块中都涉及到不同的数据结构与算法。本文将重点分析身份验证模块中使用的数据结构与算法。
SparkHBase整合原理与代码实例讲解
最新发布
AI天才研究院
08-09 599
Spark-HBase整合原理与代码实例讲解 1. 背景介绍 1.1 大数据处理的需求 在当今大数据时代,企业面临着海量数据的处理和分析挑战。传统的数据处理方式已经无法满足实时、高效地处理TB甚至PB级别数据的需求。因此,大数
关于torch.load加载网络后，发现要用的网络每一层的名字多了前缀module.的问题
weixin_45462252的博客
01-06 2417
当发现使用如下命令加载保存好的模型，而保存好的模型比实际搭建的模型每一层的名字都多了.moudle前缀时： checkpoint = torch.load('model.pth.tar') model.load_state_dict(checkpoint['state_dict']) 可以从很多大佬的教程中找到去掉前缀的方法了，在这里就不细说了，看起来也很麻烦 这里说一下为什么会出现这个.moudle前缀，搞清楚这一点可以从根源上避免这个问题 这是因为我们在训练的代码中使用了“torch.nn.DataP
加载预训练网络与现有模型不同
laner__gg的博客
08-20 422
加载预训练模型
迁移学习技巧+网络关键字比预训练模型关键字多前缀
P_rincedom的博客
10-02 474
迁移学习，关键字不匹配问题
载入模型部分权重的方法
m0_56192771的博客
04-24 2349
如果我们对模型进行微调，比如改变模型的最后一个全连接层输出节点个数，此时我们再载入原来模型的预训练权重，就会报错。因为模型的结构已经发生了变化，所以它所对应的权重(通常以字典中键值对的形式存储)存储结构也会发生变化，所以载入的过程中就会出现不匹配的情况。此时我们有两种解决方法，第一种方法就是只载入模型的部分权重，比如本例中就只载入除了最后一个全连接后的所有权重。第二种方法是先不改变模型，直接使用原来的模型载入原来的预训练权重，然后再改动这个模型的结构，比如改变模型的最后一个全连接层输出节点个数。下面我们分别
【Python】解决CNN中训练权重参数不匹配size mismatch for fc.weight，size mismatch for fc.bias
热门推荐
junewgl
12-02 2万+
【Python】解决CNN中训练权重参数不匹配size mismatch for fc.weight，size mismatch for fc.bias
Pytorch修改预训练模型的方法汇总
weixin_42118374的博客
12-30 1万+
本文包括如何修改预训练模型的示例。常见的有四种不同程度的修改： 1、只修改输入输出的类别数，即某些网络层的参数（常见的是修改通道数） 2、替换整个backbone或预训练模型的某一部分 3、修改网络中间层的结构（最重要，一般是重写部分中间层再整体替换） 4、快速去除预训练模型本身的网络层并添加新的层 正文如下 1.只修改输入输出的类别数，即某些网络层的参数（常见的是修改通道数） ...
大语言模型LLM代码：PyTorch库与ChatGLM模型
North_D的博客
03-04 809
大语言模型采用的核心技术与PyTorch之间存在密切的关系，因为PyTorch是一个广泛应用于构建和训练深度学习模型的开源机器学习库，特别适合于实现和优化大语言模型所需的各种技术。自注意力层接收形状为[s, b, h]的输入数据，其中s表示序列长度，b表示批次大小，h表示特征维度。类集成了词嵌入层、带有旋转位置嵌入的Transformer编码器以及输出层，能够接受用户输入并返回经过Transformer处理后的隐藏状态，适用于多种自然语言处理任务，同时支持预训练前缀提示的生成和模型量化。
PyTorch模型定义 | 模型容器 | 模型块 | 修改模型 | 模型读取与保存
liujiesxs的博客
08-18 714
PyTorch模型定义与模型的读取与保存
YOLOv10改进 | 主干/Backboen篇 | 12月份最新成果TransNeXt特征提取网络（全网首发）
Snu77的博客
07-14 672
本文给大家带来的改进机制是TransNeXt特征提取网络将其应用在我们的特征提取网络来提取特征，同时本文给大家解决其自带的一个报错，通过结合聚合的像素聚焦注意力和卷积GLU，模拟生物视觉系统，特别是对于中心凹的视觉感知。这种方法使得每个像素都能实现全局感知，并强化了模型的信息混合和自然视觉感知能力。TransNeXt在各种视觉任务中，包括图像分类、目标检测和语义分割，都显示出优异的性能(该模型的训练时间很长这是需要大家注意的)。欢迎大家订阅我的专栏一起学习YOLO！
torch load或者load_state_dict（）后模型不相同
Yonggie的博客
05-01 8276
一言以蔽之 把原先模型eval，把加载后模型eval。才保证两模型完全一样。 保存模型 torch.save(net,'./model.pth') 或者 torch.save(net.state_dict(),'./model-dict.pth') 加载模型 net=torch.load('./model.pth') 或者 net.load_state_dict(torch.load('./mo...
替换骨干网络之后使用预训练模型进行训练
weixin_44715117的博客
05-11 3247
前言 最近看了几篇使用transformer的文章，于是想用其中的一个transformer模块来替换另一个方法的骨干网络(backnone)，替换完之后跑起来感觉没有什么效果，想着可能是transformer模型要用预训练会好一些。但是。由于是自己把原来方法的backnoe替换掉，因此没有现成的直接可以使用的预训练模型来使用，只能从两个方法中提取相应模块的权重然后整合起来当做预训练模型使用。 原理 不同的预训练模型之所以能够东拼一块、西拼一块成为一个可以用的预训练模型，是因为在预训练模型中有相应的键值对（
预训练权重加载
JimmyOrigin的博客
03-03 3758
一般为了缩短网络训练时间，并且希望达到更好的精度，我们一般加载预训练权重进行网络的训练。 加载的过程中可能会遇到，网络权重与网络层命名不同的情况。 目录一、 网络结构与权重完全对应二、网络结构相同，网络层命名不同 一、 网络结构与权重完全对应 model.load_state_dict(torch.load(weight_pth)) 二、网络结构相同，网络层命名不同 def load_weight(net, weight): weight_file = '/weight_pth' dic={} f
【Pytorch】利用预训练模型初始化backbone时的常见问题及方案
Charles5101的博客
09-19 4550
在训练模型时，我们常常需要利用预训练的baseline模型对所设计网络的backbone或部分layer进行初始化，给网络训练提供一个较好的起点，同时减少训练的时间成本。比较常见的就是利用imagenet上训练好的标准网络来初始化新网络的部分层。 在进行初始化时，往往会出现两种情况：一种是待初始化的层键值和预训练模型是匹配的；一种是二者键值不匹配，在键值名称上有少许差异。 针对这两种情况，处理...
pytorch 加载通道不对齐预训练
jacke121的专栏
11-15 2645
pytorch 加载通道不对齐预训练
state_dict详解
weixin_36670529的博客
05-02 1万+
在pytorch中，torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏执系数，state_dict作为python的字典对象将每一层的参数映射成tensor张量，需要注意的是torch.nn.Module模块中的state_dict只包含卷积层和全连接层的参数，当网络中存在batchnorm时，例如vgg网络结构，torch.nn.Module模块中的state_dict也会存放batchnorm's running_mean。 torch.optim模块中的O
【Pytorch】加载预训练模型及修改网络结构
capsule的博客
10-22 5537
Pytorch有自带的训练好的AlexNet、VGG、ResNet等网络架构。可以看到，AlexNet有三个层，分别是features、avgpool、classifier。用model.features查看features层（也就是卷积层）的网络结构。**
【Pytorch】网络结构与预训练模型的网络结构是否一致的情况下：手动加载预训练模型、网络结构与模型参数匹配
liuz_notes的博客
02-22 3004
分析网络结构与预训练模型网络结构一致与不一致两种情况下，如何在Pytorch环境中加载预训练模型参数。
pytorch怎么加载预训练模型的部分参数
05-10
load_state_dict()函数在PyTorch中是将参数拷贝到新模型中的函数，新模型和预训练模型的网络结构应该是相同的。然后我们可以通过load_state_dict()函数的参数prefix和exclude来实现部分参数的加载。prefix参数是指定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱学习的大志

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值