pytorch修改网络结构后如何加装预训练模型，以resnet为例

最新推荐文章于 2023-03-21 16:16:37 发布
最新推荐文章于 2023-03-21 16:16:37 发布
阅读量7.9k 收藏 127
点赞数 22
分类专栏： Pytorch 文章标签： 深度学习 python 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36414085/article/details/112652317
版权

如果不知道如何使用预训练模型训练的朋友，使用resnet18模型训练自己的数据集的教程请看这篇博客

一、如果我们网络没任何修改

还是训练imagenet的数据集，1000个类别，那么只需以下代码：

model_ft = models.resnet18(pretrained=True)
model_ft = model_ft.to(device)

二、如果只修改训练自己数据集类别

如果我们训练自己的数据集，假如自己的数据集只有10个类别，那么需先加载预训练模型，然后修改最后的全连接层，改成以下代码加载预训练模型：

model_ft = models.resnet18(pretrained=True)
num_ftrs = model_ft.fc.in_features
model_ft.fc = nn.Linear(num_ftrs, 10)
model_ft = model_ft.to(device)

这里只是resnet18修改的方式，更多修改的方式请看官网教程

三、如果修改的resnet的网络结构

如果修改了resnet的网络结构，而不仅仅是修改了最后一层全连接层，比如加上注意力机制，而且还是训练自己的数据集，自己的数据集假如有10个类别，那么就得用以下方式加载预训练模型：

model_ft = models.resnet18(pretrained=False)

net_dict = model_ft.state_dict()
predict_model = torch.load('resnet18-5c106cde.pth')
state_dict = {k: v for k, v in predict_model.items() if k in net_dict.keys()}# 寻找网络中公共层，并保留预训练参数
net_dict.update(state_dict)  # 将预训练参数更新到新的网络层
model_ft.load_state_dict(net_dict)

# 修改最后一层全连接层的数量，改为分类种类的数量
num_ftrs = model_ft.fc.in_features
model_ft.fc = nn.Linear(num_ftrs, 10)
model_ft = model_ft.to(device)
夏天的欢
关注
  • 22
    点赞
  • 踩
  • 127
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
pytorch 更改预训练模型网络结构的方法
12-31
一个继承nn.module的model它包含一个叫做children()的函数，这个函数可以用来提取出model每一层的网络结构，在此基础上进行修改即可，修改方法如下(去除后两层)： resnet_layer = nn.Sequential(*list(model.children())[:-2]) 那么，接下来就可以构建我们的网络了： class Net(nn.Module): def __init__(self , model): super(Net, self).__init__() #取掉model的后两层 self.resnet_layer = nn.
Pytorch学习笔记（I）——预训练模型（二）：修改网络结构（ResNet50及以上）
qq_43440169的博客
08-23 1027
https://blog.csdn.net/qq_34108714/article/details/90169562
深度学习中修改了模型结构后，将官方的预训练权重文件转化为自己模型的权重文件
qq_1593724363的博客
03-28 1万+
0.前言： 在深度学习中，官方提供的模型预训练权重文件对于我们的训练有相当大的作用。因为这些权重文件都是官方使用大型数据集在高性能计算机上训练得到的，我们自己很难在大型数据集上训练出自己模型的预训练权重文件，再迁移到自己的数据集上，因此转化官方的权重文件为自己模型的权重文件很有必要。 1.生成自己模型权重文件： 这个就很简单啦！在进行模型训练时，训练一轮就能得到模型随机初始化的模型权重文件。这里取名my_weigths.pth 2.模型转化： ...
修改网络结构后加载预训练模型
1900的博客
03-21 226
tips
Pytorch学习笔记（I）——预训练模型（二）：修改网络结构（ResNet50及以上/VGG16）
lockonlxf的博客
05-13 1万+
最近在研究pytorch如何修改与训练模型的网络结构，然后发现了两种版本，一种是细调版，一种是快速版 　　经过一番钻研后发现细调版适合对网络模型进行大幅度的改动（如在原有的结构上穿插着增减层），而快速版适合直接对网络末端的层进行增减。 　　虽然快速版简单易懂，但是还是要对细调版有所了解才能比较，万一以后用的上呢。因此，我就好好研究了一番细调版，结果发现网上的代码或者博客基本都是相互搬运的，代码中的...
Pytorch 修改预训练网络结构
nospeakmoreact的博客
04-21 3167
我们以（inceptionV3）为例： Pytorch里我们如何使用设计好的网络结构，比如inceptionV3： import torchvision.models as models inception=models.inception_v3(pretrained=True) Pytorch提供了个叫做children()的函数，这个函数可以用来提取出model每一层的网络结构，在此...
加载resNet预训练模型
CV_YOU的博客
12-14 3532
# Assume input range is [0, 1] class ResNet101FeatureExtractor(nn.Module): def __init__(self, use_input_norm=True, device=torch.device('cpu')): super(ResNet101FeatureExtractor, self).__ini...
Pytorch对自定义模型加载预训练参数
Jessica__Chan的博客
12-13 1512
在平常的各项图像比赛中通常不能直接使用Pytorch提供的预训练模型,需要更改模型结构.如果直接重新写一个模型而没有预训练参数的话,训练任务的效果就会很差.为了使用预训练的参数,而又使模型适合我们的需求,所以需要对已经加载参数的模型修改结构.下面我将介绍使用它的方法. Pytorch加载预训练模型 对于使用torchvision中的网络,加载预训练参数的方法是 from torch.utils i...
pytorch 中resnet如何快速加载官方提供的预训练模型
热门推荐
t20134297的博客
01-08 2万+
在做神经网络的搭建过程，经常使用pytorch中的resnet作为backbone，特别是resnet50,比如下面的这个网络设定 import torch import torch.nn as nn from torchvision import datasets, transforms from torchvision import models class base_resnet(nn...
修改Resnet的全连接层后加载预训练模型
qq_37278761的博客
05-24 1931
修改Resnet34的全连接层，并加入了Involution模块，为了做消融实验，就需要加载预训练权重，此时，原先训练好的权重文件的全连接层会与我模型的全连接层冲突，因此就不必加载训练好的全连接层权重。 model = ResNet(BasicBlock, [3, 4, 6, 3], **kwargs) if pretrained: pretrained_dict = model_zoo.load_url(model_urls['resnet34']) model_dict = model.stat
CNN_classification_feature_extraction：PyTorch中的CNN模型用于分类和特征提取
02-16
CNN_classification_feature_extraction 该存储库是pytorch中用于分类和特征提取的CNN的实现。 Pytorch预训练的模型已被用于其解释。 该代码支持数据并行性和多GPU，提早停止和类权重。 此外，您可以选择加载预训练的权重（在ImageNet数据集上进行训练）或使用随机权重从头开始训练。 预训练的模型结构在最后一层有1000个节点。 此代码将所有模型的最后一层修改为可与每个数据集兼容。 可以使用以下模型： 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152', 'resnext50_32x4d', 'resnext101_32x8d', 'wide_resnet50_2', 'wide_resnet101_2', 'vgg11', 'vgg11_bn', 'vgg13'
pytorchOCR:基于pytorch的ocr算法库，包括 psenet, pan, dbnet, sast , crnn
05-01
基于pytorch的OCR库 这里会有这个项目的代码详解和我的一些ocr经验和心得，我会慢慢更新，有兴趣可以看看，希望可以帮到新接触ocr的童鞋 最近跟新： 2021.05.01 更新CRNN 训练，解决了多gpu训练问题，更换成lmdb训练，需要将图片先转成lmdb（在script文件夹中有多进程将图片转成lmdb的代码），做了一些训练优化，模型结构更改（训练时使用名字中带lmdb的yaml文件），实际训练效果如下表。 2021.03.26 更新CRNN 训练效果，代码整理后上传 2021.03.06 更新CRNN backbone resnet 和 mobilev3 以及配置文件 2020.12.22 更新CRNN+CTCLoss+CenterLoss训练 2020.09.18 更新文本检测说明文档 2020.09.12 更新DB,pse,pan,sast,crnn训练测试代码和预训练
思维导图源文件《预训练模型总览》
最新发布
06-27
该文件为《预训练模型总览》思维导图源文件，可自行编辑并输出相应图片或自行学习保存使用，详细内容可以参考：文章《自然语言处理从入门到应用——预训练模型总览》，文章链接：https://machinelearning.blog.csdn.net/article/details/131404053 从大量无标注数据中进行预训练使许多自然语言处理任务获得显著的性能提升。总的来看，预训练模型的优势包括： - 在庞大的无标注数据上进行预训练可以获取更通用的语言表示，并有利于下游任务 - 为模型提供了一个更好的初始化参数，在目标任务上具备更好的泛化性能、并加速收敛 - 是一种有效的正则化手段，避免在小数据集上过拟合，而一个随机初始化的深层模型容易对小数据集过拟合 该思维导图源文件就是各种预训练模型的思维导图，其分别按照词嵌入（Word Embedding）方式分为静态词向量（Static Word Embedding）和动态词向量（Dynamic Word Embedding）方式分类、按照监督学习和自监督学习方式进行分类、按照拓展能力等分类方式展现，用户可以自行编辑修改。
DBNet实战：详解DBNet训练与测试（pytorch）
04-01
网络结构 首先，图像输入特征提取主干，提取特征； 其次，特征金字塔上采样到相同的尺寸，并进行特征级联得到特征F； 然后，特征F用于预测概率图（probability map P）和阈值图(threshold map T) 最后，通过P和F计算...
3D_resnet_regression
02-21
而且，在同一存储库中，它们为几种体系结构提供了预训练的权重，这些体系结构可用于微调此网络。要运行代码： 在“数据”文件夹中，有一个小的示例数据集，以演示代码使用哪种数据以及如何创建数据集。 运行代码的...
PytorchOCR:基于Pytorch的OCR工具库，支持常用的文字检测和识别算法
03-20
2021.02.09添加DBNet模型，修改DBNet网络结构的fpn，inference当时的缩放及后处理 2020.07.01添加添加新算法文档 2020.06.29添加检测的mb3和resnet50_vd预训练模型 2020.06.25检测模块的训练和预测ok 2020.06.18...
国内源安装pytorch
qq_36414085的博客
05-27 8938
pytorch官网：https://pytorch.org/ 选择对应版本 建议使用 pip 安装 加上国内源，注意国内源一定要是https域名的，很多博客的都是http的，都没用，弄了我一晚上，坑爹。 清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里云：https://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学：https://py
修改torch里面预训练模型结构
05-15
在PyTorch中，我们可以很容易地修改预训练模型的结构。一般来说，预训练模型在PyTorch中以类的形式实现，我们只需要继承这个类并重写其中需要修改的方法，就可以实现预训练模型的结构修改。 例如，如果我们想要修改预训练模型的全连接层（FC）结构，可以继承该预训练模型对应的类，并在构造函数中重新定义全连接层结构。具体代码如下： ```python import torch.nn as nn import torchvision.models as models class ModifiedResNet(models.resnet.ResNet): def __init__(self, num_classes): super(ModifiedResNet, self).__init__(models.resnet.BasicBlock, [2, 2, 2, 2]) self.fc = nn.Linear(512, num_classes) # 将原来的 1000 维输出改为 num_classes 维 model = ModifiedResNet(num_classes=10) # 创建一个输出 10 个类别的 ResNet 模型 ``` 这样，我们就可以得到一个新的预训练模型，其全连接层结构已经被修改。如果需要修改其他层的结构，也可以继承对应的类，并重写其他方法，比如forward()方法等。 值得一提的是，PyTorch还提供了一些方便的工具，如nn.Sequential()模块，可以将多个层按顺序组合成一个模型，从而方便修改预训练模型的结构。例如： ```python import torch.nn as nn import torchvision.models as models model = models.resnet18(pretrained=True) model.fc = nn.Sequential(*[ nn.Linear(512, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, 10) ]) ``` 以上代码将使用预训练模型resnet18作为基础模型，将其全连接层结构替换为一个包含两个线性层和一个Dropout层的Sequential模块，输出维度为10。这样，我们就可以轻松创建自己所需的预训练模型了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值