pytorch加载部分模型和参数

最新推荐文章于 2023-03-30 14:45:46 发布
最新推荐文章于 2023-03-30 14:45:46 发布
阅读量4.2k 收藏 27
点赞数 10
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43632501/article/details/99443556
版权

有时候任务需要，想从一个训练好的网络里提取部分网络和参数做为自己的网络，本文将教你如何用pytorch实现。
首先看一下训练好的网络结构：
在这里插入图片描述
这是一个seq2seq网络，包含encoder和decoder两部分，每一部分都包含一个embedding层、一个LSTM层和一个Dropout层，decoder网络还有一个Linear层。
然后看一下新的网络结构：
在这里插入图片描述
同样是一个seq2seq的结构，区别是decoder网络里面只保留了一个Linear层，其他层都删掉了。那么怎么将训练好的网络参数复制过来呢？

1、保存预训练好的网络参数
torch.save(model.state_dict()
最低0.47元/天 解锁文章
Flutter Yang
关注
  • 10
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
【pytorch】利用 model.children() 对模型进行拆解；提取复杂嵌套模型的某一层
学渣的博客
12-10 2227
可以看到，模型一共有三个大层，分别命为：‘avgpool’，‘features’，‘classifier’。而每一个大层里面又嵌套了很多小层（子层）。以往，我们只能够通过一个个引用来进行调用大层或者小层（子层），例如：也可以通过list()
Pytorch加载部分预训练模型的参数实例
09-18
PyTorch作为一个灵活且强大的深度学习框架，提供了加载预训练模型参数的功能，这对于研究和实践非常有用。本文将详细探讨如何在PyTorch中加载部分预训练模型的参数，并通过实例进行说明。 首先，当我们使用的模型与...
torch.load()加载模型及其map_location参数
qq_43219379的博客
03-23 4万+
torch.load()加载模型的方法及其map_location参数
PyTorch模型的保存与提取
Steven的博客
07-10 3915
训练好一个模型后，最好将它直接保存下来，等以后需要的时候就可以直接提取调用，十分方便也节约了很多时间。 三个核心功能： torch.save：将序列化的对象保存到 disk。这个函数使用Python的pickle实用程序进行序列化。使用这个函数可以保存各种对象的模型、张量和字典。 torch.load：使用 pickle unpickle 工具将 pickle 的对象文件反序列化为内存。 tor...
pytorch模型中间层特征的提取
Jadelyw的博客
07-22 7904
转载自：https://blog.csdn.net/LXX516/article/details/80132228 定义一个特征提取的类： #中间特征提取 class FeatureExtractor(nn.Module): def __init__(self, submodule, extracted_layers): super(FeatureExtract...
Pytorch中加载预训练模型/模型参数-torch.load()
peacefairy的博客
10-09 6767
TORCH.LOAD语法参数理解函数简述Example注意事项 语法 torch.load(f, map_location=None, pickle_module=<module 'pickle' from '/opt/conda/lib/python3.6/pickle.py'>, **pickle_load_args) 参数理解 f – 类文件对象 (返回文件描述符)或一个保存文件名的字符串 map_location – 一个函数或字典规定如何remap存储位置
Pytorch如何部分加载模型参数
explorer5568的博客
03-30 899
在处理深度学习相关的任务时，有些情况下是在别人已有的模型上做了少量的更改，此时如果从头开始训练此模型，感觉很浪费时间，因为可以充分利用别人已经训练出来的模型的参数，供自己更改的模型使用。因此本文便简单分享一种方法，来加载模型的部分参数。
基于pytorch的保存和加载模型参数的方法
09-18
在PyTorch中，保存和加载模型参数是训练过程中至关重要的步骤，这使得我们能够持久化模型，并在后续使用时避免重复训练。本篇文章将详细解释两种不同的方法，以帮助你理解和实施这些操作。 ### 方式一：保存与加载...
PyTorch使用cpu加载模型运算方式
09-18
总结来说，当在PyTorch中没有GPU环境时，要使用CPU加载和运算模型，关键在于正确设置`torch.load()`的`map_location`参数为`'cpu'`，并确保模型的所有参数都在CPU上。通过这样的调整，即使在无GPU环境下，也可以继续...
pytorch实现具备预训练参数加载功能的bert模型
01-03
在pytorch上实现了bert模型，并且实现了预训练参数加载功能，可以加载huggingface上的预训练模型参数。 主要包含以下内容： 1) 实现BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码。 2) 在子模块...
【学习1】Pytorch部分载入参数的几种方法
iviyandyssg的博客
07-06 994
参考1 https://blog.csdn.net/LXX516/article/details/80124768 参考2 https://www.bilibili.com/video/BV1dA411g7Ao 方法一 仅仅修改了全连接层，比如将分类层fc的1000类输出改为10类输出的new_fc import torch from torchvision.models import resnet18 import torch.nn as nn def main(): out_featu
Pytorch加载指定层的参数
木盏
04-06 3448
Pytorch加载模型的时候，有时候并不需要加载全部的模型参数。比如，做迁移学习的时候，我们将模型A的参数迁移到模型B上，这两个模型整体结构是不一样的，只是有些layer的是一样的，直接用model_b来load模型A的参数肯定会报错。我们只是想把模型A的部分参数加载到模型B上。
Pytorch 加载部分模型参数样例
艾渃曼の博客
07-26 460
Pytorch 加载部分模型参数样例
pytorch 加载部分参数，以及多GPU 加载单GPUmodel，pop去除全连接参数，然后加载
m0_37192554的博客
11-15 1694
######### multi gpu load one gpu need mudule. print ("model load param###########################") pretrained_dict = torch.load("model_ir_se50.pth") ### ...
Pytorch只加载部分参数权重 load (pth文件) & 加载模型不完全匹配&module.后缀问题
qq_43416160的博客
11-10 1875
Pytorch只加载部分参数权重 load (pth文件) & 加载模型不完全匹配&module.后缀问题&model.load_state_dict函数的使用
PyTorch学习：加载模型和参数
热门推荐
lscelory的博客
08-07 9万+
pytorch的模型和参数是分开的，可以分别保存或加载模型和参数。 pytorch有两种模型保存方式： 一、保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net 二、只保存神经网络的训练模型参数，save的对象是net.state_dict() 对应两种保存模型的方式，pytorch也有两种加载模型的方式。对应第一种保存方式，加载模型时通过torch.load('.pth...
xxx.pth或者xxx.pt is a zip archive(did you mean to use torch.jit.load()?问题解决
DG息的博客
10-14 2931
错误：使用torch.load()加载模型参数时，提示“xxx.pt is a zip archive(did you mean to use torch.jit.load()?)“或者“xxx.pth is a zip archive(did you mean to use torch.jit.load()?)“ 错误原因： xxx.pth或者xxx.pt来自pytorch1.6或更高的版本。1.6之后pytorch默认使用zip文件格式来保存权重文件，导致这些权重文件无法直接被1.5及以下的pytorc
python安装pytorch方法
vvnzhang2095的博客
05-18 3万+
其实就一个传送门：https://pytorch.org/按自己的要求去选就好了，自动告诉你要输入什么命令，超简单！现在pytorch也支持windows啦！
Flutter开发的坑
勤劳是一种习惯
08-06 1106
Flutter开发的坑 如果一个变量有时候为null，并且是应用再text组件上面的，就需要避免这个变量为null，必须设置成“”空字符串，否则会报错！
pytorch加载和网络匹配的参数
最新发布
05-30
然后，我们遍历模型参数和预训练模型参数，将它们的名称相对应，并将值赋值给 PyTorch 模型的参数。最后，我们使用 `model.load_state_dict()` 函数更新模型参数。 请注意，如果预训练模型和 PyTorch 模型的结构不...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值