Pytorch只加载自己需要的模型参数(修改模型后)

最新推荐文章于 2024-06-11 23:15:00 发布
最新推荐文章于 2024-06-11 23:15:00 发布
阅读量4.9k 收藏 8
点赞数 2
分类专栏： pytorch 文章标签： pytorch 深度学习 调参 finetune
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37615398/article/details/85042176
版权

给定一个预训练模型，如果你对模型结构做了一定的修改，那么可以只加载未改变的模型参数，从而加快模型的训练。代码如下：
pretrained_dict = ‘…….pkl’#预训练模型参数保存地址
model_dict = model.state_dict() #自己的模型参数变量

pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}#去除一些不需要的参数
model_dict.update(pretrained_dict)#参数更新
model.load_state_dict(model_dict)#加载

luissen
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch只加载预训练模型中的部分参数及冻结部分参数
yang_daxia的博客
08-26 6856
说明 比如我需要训练车牌检测模型, 采用retinanet, 结构为bacnbone-fpn-retinanethead. 准备在coco数据集上预训练. 但是coco数据集有81类, 车牌只有几类. 预训练完以后, retinanethead部分, 由于类数目尺寸不匹配, 所以希望只加载bacnbone以及fpn部分的参数. 保存的checkpoints本质上为一个字典, 所以只需要把head部...
Pytorch加载部分预训练模型的参数实例
09-18
今天小编就为大家分享一篇Pytorch加载部分预训练模型的参数实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch——什么是动态模型和静态模型？它们联系与区别？？？
最新发布
qq_40280673的博客
06-11 1073
在 PyTorch 中，动态模型和静态模型的概念主要涉及到模型的定义和执行方式。这两个概念在性能优化、部署和跨平台兼容性方面有重要影响。
pytorch 模型部分参数的加载
y1556368418的博客
10-30 3077
如果对预训练模型的结构进行了一些改动，在训练的开始前希望加载未改动部分的参数，如将resnet18的第一层卷积层conv1的输入由3通道改为6通道的new_conv1，将分类层fc的1000类输出改为2类输出的new_fc，注意：要改一下名字与原来的不同。 导入模型 myNet=resnet18() 然后就加载模型的参数，参考pytorch 如何加载部分预训练模型 pretrained_di...
pytorch加载模型中的部分参数
t20134297的博客
12-13 458
import torch import torch.nn as nn import torch.nn.functional as F from torchvision import datasets,transforms from torch.optim import lr_scheduler import torch.optim as optim class VGG(nn.Module): ...
重构预训练模型后加载参数
一如年少模样丶的博客
03-27 378
# 加载相同state_dict def load_same_state_dict(myself_model: nn.Module, pretrain_model: nn.Module): pretrain_dict = pretrain_model.state_dict() myself_dict = myself_model.state_dict() # 当模型中的某层是同时在两个模型中共有时才取出 pretrain_dict = {k: v for k, v in p
使用PyTorch加载模型部分参数方法
TracelessLe的专栏
04-10 8840
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们通常会希望加载预训练模型文件的参数，如果网络结构不变，只需要使用load_state_dict方法即可。而当我们改动网络结构后，由于load_state_dict方法要求读入的state_dict的key和net.state_dict()的key对应相等，如果有缺少就会报错。这个时候我们通常希望加载未改动部分结构的参数用来初始化网络。 方法 方法一：strict=False 直接使用load_state_dict提供的参数s
基于pytorch的保存和加载模型参数的方法
09-18
在PyTorch中，保存和加载模型参数是训练过程中至关重要的步骤，这使得我们能够持久化模型，并在后续使用时避免重复训练。本篇文章将详细解释两种不同的方法，以帮助你理解和实施这些操作。 ### 方式一：保存与加载...
pytorch实现具备预训练参数加载功能的bert模型
01-03
在pytorch上实现了bert模型，并且实现了预训练参数加载功能，可以加载huggingface上的预训练模型参数。 主要包含以下内容： 1) 实现BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码。 2) 在子模块...
PyTorch加载预训练模型实例(pretrained)
09-18
这里的 `pretrained=True` 参数告诉 PyTorch 我们想要加载预训练的权重。`models.resnet50()` 函数会返回一个已经训练好的 ResNet50 模型，其内部权重对应于在 ImageNet 上训练的结果。 然而，通常我们需要对预训练...
【学习1】Pytorch部分载入参数的几种方法
iviyandyssg的博客
07-06 994
参考1 https://blog.csdn.net/LXX516/article/details/80124768 参考2 https://www.bilibili.com/video/BV1dA411g7Ao 方法一 仅仅修改了全连接层，比如将分类层fc的1000类输出改为10类输出的new_fc import torch from torchvision.models import resnet18 import torch.nn as nn def main(): out_featu
pytorch只想对模型加载部分参数
Yonggie的博客
05-10 2579
前言 对一个torch模型保存可以使用save dict操作，其本质是一个字典，字典的k是string，表示参数所在的层，v是此层的参数。可以自己debug看看 对于模型来说，load_state_dict可以加载之前保存的参数字典，此函数有一个参数，是是否严格加载参数。 model.load_state_dict(related_params, strict=True) 默认strict是False，当权重中的key和网络中匹配就加载，不匹配就跳过。 如果strict是True，那必须完全匹配，不然就报
Pytorch如何部分加载模型参数
explorer5568的博客
03-30 898
在处理深度学习相关的任务时，有些情况下是在别人已有的模型上做了少量的更改，此时如果从头开始训练此模型，感觉很浪费时间，因为可以充分利用别人已经训练出来的模型的参数，供自己更改的模型使用。因此本文便简单分享一种方法，来加载模型的部分参数。
Pytorch加载模型不完全匹配 & 只加载部分参数权重 load (pth文件) & 从网络加载权重(URL)
热门推荐
hxxjxw的博客
08-07 1万+
加载模型不完全匹配 model.load_state_dict(torch.load(weight_path), strict=False) 当权重中的key和网络中匹配就加载，不匹配就跳过 如果strict是True，那必须完全匹配，不然就报错 但是注意，如果是像英文模型迁移到中文，改了class num的话，例如由26改为3600，这时模型不匹配用它是解决不了的，因为此时模型的key名字是对应的上的，只是权重的size不同 看 只加载部分参数权重 如果发生上述情况的话，那就需要把加.
js 地址栏url 拼接一个或多个参数传参和获取参数方法
zcc的博客
12-09 1万+
1、js 地址栏url 传一个参数和多个参数时拼接方法： let ipaddr = "192.168.1.199"; let path = "/scene.cgi"; //以上都可以动态设置当参数传进去 //一个参数 let getTimestamp = new Date().getTime();//时间戳 let url= "http://" + ipaddr + path + "?timestamp=" + getTimestamp; console.log(url);// http://192
pytorch：预训练权重、冻结训练和断点恢复
qq_42262610的博客
02-10 8529
本篇文章将介绍神经网络训练过程中的三个必备技能：使用预训练权重、冻结训练和断点恢复，巧妙运用这三个技巧可以很有效地提高网络的训练效率和效果。 01 引言 迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模式开始。这样，我们就可以利用以前的学习成果，避免从零开始。 02 使用预训练权重 在计算机视觉领域中，迁移学习通常是通过使用预训练模型来表示的。预训练模型是在大型基准数据集上训练的模型，用于解决相似的
改动模型后，加载部分预训练权重文件
weilaicxy22的博客
04-23 4839
加载部分预训练权重文件 最近在做姿态估计相关内容，需要将Hrnet模型修改，Hrnet是基于coco数据集训练的，coco数据集是17个关节点，而我需要的是15个关节点，在将数据集标好训练之后，发现由于数据量比较小，模型能够很快收敛，但是泛化性能极差，于是，就想着把之前的coco预训练权重文件拿出来一部分，对我自己的模型进行训练，果不其然，在使用部分预训练权重文件进行训练后，模型的泛化性有了很大的改善，现在分享给大家。 1首先我们需要明确权重文件的类型是什么：我们在使用pytorch进行模型训练的时候，最后
Pytorch预训练模型加载
qq_42262610的博客
11-26 3525
pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型参数）。往往为了加快学习进度，训练的初期直接加载pretrain模型中预先训练好的参数。加载model如下所示： import torchvision.models as models 1.加载网络结构和预训练参数：resnet34
pytorch模型加载测试_pytorch模型加载方法汇总
weixin_39914975的博客
12-19 1339
Pytorch有很多方便易用的包，今天要谈的是torchvision包，它包括3个子包，分别是： torchvison.datasets ，torchvision.models ，torchvision.transforms ，分别是预定义好的数据集(比如MNIST、CIFAR10等)、预定义好的经典网络结构(比如AlexNet、VGG、ResNet等)和预定义好的数据增强方法(比如Resize、...
pytorch怎么加载预训练模型的部分参数
05-10
我们想要使用这个模型来进行一些迁移学习，那只需要加载resnet18最后一层fc层之前的所有模型参数，而不需要加载最后一层fc层的权重。那么，我们可以通过以下代码来实现： ``` import torch.utils.model_zoo as ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值