Pytorch载入部分参数并冻结

最新推荐文章于 2024-07-08 11:19:43 发布
最新推荐文章于 2024-07-08 11:19:43 发布
阅读量5.6k 收藏 39
点赞数 4
分类专栏： Pytorch 文章标签： pytorch冻结参数 pytorch加载部分参数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happyeveryday62/article/details/104550948
版权
本文介绍了在PyTorch中如何加载部分模型参数，并在训练时冻结特定层。当网络层名称和结构不变时，加载参数相对简单。但如果引入的网络层名称发生修改，需要构建新的state_dict来匹配。此外，文章还提供了冻结参数的方法，通过设置优化器以过滤不需要更新的参数。
摘要由CSDN通过智能技术生成

参考资料

  1. pytorch 模型部分参数的加载
  2. Pytorch中，只导入部分模型参数的做法
  3. Correct way to freeze layers
  4. Pytorch自由载入部分模型参数并冻结
  5. pytorch冻结部分参数训练另一部分
  6. PyTorch更新部分网络，其他不更新
  7. Pytorch固定部分参数(只训练部分层)

加载部分参数

如果加载现有模型的所有参数，我们常使用的是代码如下：

torch.load（model.state_dict())

在训练过程中，我们常常会使用预训练模型，有时我们是在自己的模型中加入别人的某些模块，或者对别人的模型进行局部修改，这个时候再使用torch.load（model.state_dict())，就会出现类似这些的错误：RuntimeError: Error(s) in loading state_dict for Net:Missing key(s) in state_dict:xxx。出现这个错误就是某些参数缺失或者不匹配。

保持原来网络层的名称和结构不变

现有模型中引入的那部分网络结构的网络层的名称和结构保持不变，这时候加载参数的代码很简单。

# 加载引入的网络模型
model_path = "xxx"
checkpoint = torch.<
最低0.47元/天 解锁文章
Onwaier
关注
  • 4
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 固定部分参数训练的方法
01-20
需要自己过滤 optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) 另外，如果是Variable，则可以初始化时指定 j = Variable(torch.randn(5,5), requires_grad=True) ...
Pytorch 实现冻结指定卷积层的参数
09-18
1. 冻结参数是一个不可逆的操作，一旦在训练之前设置了`requires_grad=False`，那么这些参数在当前训练的epoch中将不会更新，直到模型重新启动。 2. 在执行训练之前，需要正确地配置哪些层需要被冻结以及哪些层需要...
pytorch如何冻结某层参数的实现
09-18
主要介绍了pytorch如何冻结某层参数的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
pytorch 冻结部分参数
jmhIcoding
12-11 2467
pytorch里面每个参数都有一个requires_grad属性，这个属性为True表示这个参数需要梯度下降优化。属性为False表示这个参数不需要优化。 for param in model.parameters(): param.requires_grad = False
关于 model.load_state_dict 加载部分预训练参数
最新发布
liyun52的博客
07-08 215
比如说，我们没有增删shufflenet的任何部分，只是修改了最后分类器的类别数，那么在对比的过程中，classifier是存在的，classifier部分的预训练参数（类别为1000）就会被加载，依然会报错size mismatch，因为我们将最后的类别数修改为7，和1000不匹配。之前一直使用迁移训练，现记录一下关于model.load_state_dict加载部分预训练参数的学习。我从网上看了很多使用下面的方法，对比自定义模型与预训练模型的键，剔除不同的部分，然后重新加载。
Pytorch——训练时，冻结网络部分参数的方法
Williamcsj的博客
04-17 1715
要固定训练网络的哪几层，只需要找到这几层参数(parameter)，然后将其 `.requires_grad` 属性设置为 `False` 。然后`修改优化器`，只将不被冻结的层传入。
pytorch——冻结某层参数
北国觅梦
12-11 6376
参考链接： https://blog.csdn.net/qq_41368074/article/details/107860126 https://blog.csdn.net/Code_Mart/article/details/88254444 首先，我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型的参数部分，指向更新最后一层的分类器，这时应该怎么做呢
pytorch冻结部分参数训练另一部分
热门推荐
别说话写代码的博客
05-20 3万+
1）添加下面一句话到模型中 for p in self.parameters(): p.requires_grad = False 比如加载了resnet预训练模型之后，在resenet的基础上连接了新的模快，resenet模块那部分可以先暂时冻结不更新，只更新其他部分的参数，那么可以在下面加入上面那句话 class RESNET_MF(nn.Module): def _...
pytorch 自定义参数不更新方式
01-20
nn.Module中定义参数：不需要加cuda，可以求导，反向传播 class BiFPN(nn.Module): def __init__(self, fpn_sizes): self.w1 = nn.Parameter(torch.rand(1)) print(no-----------------------------------------...
【pytorch冻结网络参数：最全版】
qq_46276946的博客
07-11 5024
但是，有时也会对这些层的某些参数进行冻结，例如，在使用预训练模型进行微调时，通常会冻结预训练模型中的所有层，并只对新添加的全连接层进行训练，以充分利用预训练模型的特征提取能力，并避免破坏预训练模型已经学习到的特征。在定义神经网络的forward()函数的时候，使用with torch.no_grad():来冻结with torch.no_grad()缩进里面的部分层，这种方式会存在一定的问题，no_grad()会使得其上下文部分所有变量梯度均为None，可能导致无法反向传播。
深度学习——（6）pytorch冻结某些层的参数
羊羊的博客
07-20 2885
加载预训练参数 冻结部分层参数 required_grad
PyTorch冻结网络参数
如果想成为中心，那么就到中心去吧。
03-27 4772
方法一 将需要固定的那部分参数的requires_grad置为False. 在优化器中加入filter根据requires_grad进行过滤. # requires_grad置为False for p in net.XXX.parameters(): p.requires_grad = False # filter optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) 方法二 这种方式只需
pytorch 冻结参数
Jasminexjf的博客
06-30 7040
part one: 一篇博客的介绍： Pytorch的load方法和load_state_dict方法只能较为固定的读入参数文件，他们要求读入的state_dict的key和Model.state_dict()的key对应相等。 而我们在进行迁移学习的过程中也许只需要使用某个预训练网络的一部分，把多个网络拼和成一个网络，或者为了得到中间层的输出而分离预训练模型中的Sequential 等等，...
PyTorch冻结已训练网络参数
TBTB的博客
12-24 3932
在训练多层神经网络中，我们发现由于网络参数过多，网络收敛的条件有点苛刻。因此，分层训练的方式在日常生活中常常被用到。所谓的分层训练，顾名思义，即多层网络中，我们先训练好第一层网络，固定其参数，去训练第二层网络，当第二层网络训练完毕，就固定前两层参数，去训练第三层网络，以此类推。下面展现代码的实现方式。 # 网络模型 class Test(torch.nn.Module): def __init__(self,): super(TwISTA, self).__init__() .
pytorch冻结部分模型
iTom's blog
08-13 1076
y=f(x;θ)y=f(x;\theta)y=f(x;θ)，想不要 loss 对 θ\thetaθ 的梯度，但保留对 xxx 的梯度，不能直接放进 no_grad() 域，而需要冻结 fff。 Code import os import math import numpy as np import torch import torch.nn as nn import torch.nn.functional as F from torch.nn.parameter import Parameter os.
使用PyTorch冻结模型参数的方法
TracelessLe的专栏
04-10 2万+
前言 在深度学习领域，经常需要使用其他人已训练好的模型进行改进或微调，这个时候我们会加载已有的预训练模型文件的参数，如果网络结构不变，希望使用新数据微调部分网络参数。这时我们则需要冻结部分参数，禁止其更新。 方法 （1）通过遍历网络结构，设置梯度更新requries_grad = False。 # 冻结network1的全部参数和network2的部分参数 for name, parameter in network1.named_parameters(): parameter.requri
pytorch 之 冻结某层参数，即训练时不更新
qq_41368074的博客
08-07 1万+
首先，我们知道，深度学习网络中的参数是通过计算梯度，在反向传播进行更新的，从而能得到一个优秀的参数，但是有的时候，我们想固定其中的某些层的参数不参与反向传播。比如说，进行微调时，我们想固定已经加载预训练模型的参数部分，指向更新最后一层的分类器，这时应该怎么做呢。 首先我们的模型定义为： class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Con
pytorch 更新部分参数（冻结参数）注意事项
Answer3664的博客
09-09 2万+
实验的pytorch版本1.2.0 在训练过程中可能需要固定一部分模型的参数，只更新另一部分参数。有两种思路实现这个目标，一个是设置不要更新参数的网络层为false，另一个就是在定义优化器时只传入要更新的参数。当然最优的做法是，优化器中只传入requires_grad=True的参数，这样占用的内存会更小一点，效率也会更高。 一、设置参数为false import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的网络
pytorch冻结一部分参数
04-15
在PyTorch中，冻结一部分参数是指在训练过程中保持这些参数的梯度不更新，即不对它们进行反向传播和优化。这在迁移学习和模型微调中非常常见，可以通过以下几种方式实现： 1. 设置`requires_grad`属性：可以通过将参数的`requires_grad`属性设置为`False`来冻结参数。例如，如果有一个模型的参数列表`model.parameters()`，可以使用以下代码冻结其中的一部分参数： ```python for param in model.parameters(): param.requires_grad = False ``` 2. 选择性优化：在优化器中选择性地传递需要优化的参数。可以通过将需要优化的参数传递给优化器的`params`参数来实现。例如，如果有一个模型的参数列表`model.parameters()`，可以使用以下代码只优化其中的一部分参数： ```python optimizer = torch.optim.SGD([ {'params': model.fc.parameters()}, # 只优化全连接层的参数 {'params': model.conv.parameters(), 'lr': 1e-4} # 可以设置不同的学习率 ], lr=1e-3) ``` 3. 冻结指定层：如果要冻结模型中的特定层，可以通过将这些层的参数设置为不可训练来实现。例如，如果要冻结模型的第一层卷积层，可以使用以下代码： ```python model.conv1.weight.requires_grad = False model.conv1.bias.requires_grad = False ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值