PyTorch学习系列(十)——如何在训练时固定一些层？

最新推荐文章于 2024-09-03 18:10:16 发布
最新推荐文章于 2024-09-03 18:10:16 发布
阅读量2.5w 收藏 52
点赞数 13
分类专栏： 深度学习框架Torch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/victoriaw/article/details/72779407
版权
本文介绍了在PyTorch中如何在训练过程中保持某些层不变，特别是预训练网络的卷积层。通过设置Variable的`requires_grad=False`或使用`volatile=True`，可以阻止这些层在反向传播时计算梯度，从而只更新顶层的全连接层。`volatile=True`主要适用于推理阶段，减少内存消耗。
摘要由CSDN通过智能技术生成

有时我们会用其他任务（如分类）预训练好网络，然后固定卷积层作为图像特征提取器，然后用当前任务的数据只训练全连接层。那么PyTorch如何在训练时固定底层只更新上层呢？这意味着我们希望反向传播计算梯度时，我们只希望计算到最上面的卷积层，对于卷积层，我们并不希望计算梯度并用梯度来更新参数。
我们知道，网络中的所有操作对象都是Variable对象，而Variable有两个参数可以用于这个目的：requires_grad和volatile。

requires_grad=False

在用户手动定义Variable时，参数requires_grad默认值是False。而在Module中的层在定义时，相关Variable的requires_grad参数默认是True。
在计算图中，如果有一个输入的requires_grad是True，那么输出的requires_grad也是True。只有在所有输入的requires_grad都为False时，输出的requires_grad才为False。

>>>x = Variable(torch.randn(2, 3), requires_grad=
最低0.47元/天 解锁文章
Vic时代
关注
专栏目录
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
PyTorch深度学习实战——使用深度Q学习进行Pong游戏
盼小辉丶的博客
07-22 2491
我们已经学习了如何利用深度 Q 学习来进行 Gym 中的 CartPole 游戏。在本节中，我们将研究更复杂的 Pong 游戏，并了解如何结合深度 Q 学习与固定目标网络进行此游戏，同时利用基于卷积神经网络 (Convolutional Neural Networks, CNN) 的模型替代普通神经网络。
pytorch固定某些层进行训练
weixin_43832437的博客
06-02 4113
为了满足程序某些功能，需要冻结网络中某一些层，下面为详细代码： name_list =['up1','up2','up3','up4','up5'] #list中为需要冻结的网络层 model = eval(args.model_name)(n_class=n_class) #加载model for name, value in model.named_parame...
PyTorch基础教程学习笔记（三）：pytorch搭建模型的的五大层次级别（由浅入深）
qq_38156104的博客
08-01 707
前言：神经网络的搭建本身是一个较为复杂的过程，但是现在有非常多的、非常人性化的开源框架提供给我们使用，但是即便如此，网络的搭建也是有多种方法可以选择，本文以pytorch为例子加以说明。 神经网络的基本流程可以分为两大步骤，即 网络结构搭建+参数的梯度更新（后者又包括 “前向传播+计算参数的梯度+梯度更新”） 这其实也是后面pytorch搭建神经网络的一个基本思路 原始搭建——使用numpy实现 # -*- coding: utf-8 -*- import numpy as np #...
PyTorch 全连接层（Fully Connected Layer）详解
最新发布
fydw_715的博客
09-03 2071
全连接层（Fully Connected Layer）是神经网络中最基本和广泛使用的层类型，广泛应用于图像分类、文本处理、回归分析等任务中。本文详细介绍了全连接层的基本概念、PyTorch中的实现、输入和输出维度变化、主要解决的问题及典型应用场景。全连接层通过线性变换和非线性激活函数，对输入特征进行变换和抽象，提取更高层次的特征。训练过程中，权重矩阵和偏置向量通过反向传播算法进行更新，优化模型性能。全连接层在图像分类、文本分类、回归任务及多层感知器（MLP）中有广泛应用，理解其工作原理和应用场景对于构建高效
深度学习pytorch分层、 分参数设置不同的学习率等
qq_32425195的博客
12-25 5587
1. 对于bias参数和weight参数，设置不同的学习率 {'params': get_parameters(model, bias=False)},             {'params': get_parameters(model, bias=True),              'lr': args.lr * 2, 'weight_decay': 0}, 对于不同的层，做不同的...
pytorch：加载预训练模型中的部分参数，并固定该部分参数
MboboM的博客
02-23 472
pytorch：加载 https://www.jianshu.com/p/d67d62982a24 预训练模型中的部分参数，并固定该部分参数 initial_cnn = models.densenet121(pretrained=False) self.cnn = torch.nn.Sequential(*(list(initial_cnn.children())[:-1])) device = torch.device('cuda') cnn = s
Pytorch固定部分参数(只训练部分层)
yy2yy99的专栏
07-09 3235
参考：https://www.cnblogs.com/jiangkejie/p/11199847.html 在迁移学习中我们经常会用到预训练模型，并在预训练模型的基础上添加额外层。训练时先将预训练层参数固定，只训练额外添加的部分。完了之后再全部训练微调。 在pytorch 固定部分参数训练时需要在优化器中施加过滤。 class RESNET_attention(nn.Module): def __init__(self, model, pretrained): super(R
深度学习PyTorch代码模板——模型训练框架、数据处理、绘图…
www.h y p e r p l a s m a.top
06-03 1120
个人用深度学习代码模板：模型训练框架、数据处理、绘图等。待补充。
PyTorch深度学习实战（15）——迁移学习
盼小辉丶的博客
09-11 3332
迁移学习通过利用相关任务或领域的知识，帮助解决新任务或领域中的学习挑战，可以提高模型的泛化能力、加速模型训练，并在实际应用中取得良好的效果。在图像分类、目标检测、机器翻译等任务中，迁移学习已经展现出巨大的应用价值。在本节中，介绍了迁移学习的基本概念，并使用 PyTorch 构建了迁移学习模型，利用预训练模型 VGG 加速学习过程并提高性能。
pytorch 更新部分参数（冻结参数）注意事项
热门推荐
Answer3664的博客
09-09 2万+
实验的pytorch版本1.2.0 在训练过程中可能需要固定一部分模型的参数，只更新另一部分参数。有两种思路实现这个目标，一个是设置不要更新参数的网络层为false，另一个就是在定义优化器时只传入要更新的参数。当然最优的做法是，优化器中只传入requires_grad=True的参数，这样占用的内存会更小一点，效率也会更高。 一、设置参数为false import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的网络
pytorch如何冻结某层参数
Pr4da的博客
01-07 3069
在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练，在Pytorch中的实现如下： class Model(nn.Module): def __init__(self): super(Transfer_model, self).__init__() self.linear1 = nn.Linear(20, 50) self.line...
迁移学习：如何为您的机器学习问题选择正确的预训练模型
喜欢打酱油的老鸟
05-10 2946
https://www.toutiao.com/a6687923187298075144/ 在这篇文章中，我们将简要介绍一下迁移学习是什么，以及如何使用它。 什么是迁移学习？ 迁移学习是使用预训练模型解决深度学习问题的艺术。 迁移学习是一种机器学习技术，你可以使用一个预训练好的神经网络来解决一个问题，这个问题类似于网络最初训练用来解决的问题。例如，您可以利用构建好的用于识别狗的品种的...
基于torchvision对模型最后几层进行微调，用于训练自己的数据
年少的勇气已经用完，剩下的就是三思而后行
07-20 1195
基于torchvision对模型最后几层进行微调，用于训练自己的数据
pytorch固定部分参数进行网络指定层训练
甜度超标的博客
12-29 6427
pytorch固定部分参数进行网络指定层训练训练问题描述实现方法 问题描述 类似迁移学习，将模型权重加载进来之后，固定指定层的参数，进行剩余层的训练，并且固定层的参数不在更新，只更新训练的部分。 实现方法 ...
【pytorch】固定(freeze)住部分网络
JNing
09-15 1万+
【pytorch】固定(freeze)住部分网络
Pytorch 加载、查看预训练模型参数、使用部分预训练模型参数初始化网络（以层为单位按需初始化）
feizai1208917009的博客
12-18 1万+
一：查看预训练模型的参数（以Alexnet为例）： path = 'I:/迅雷下载/alexnet-owt-4df8aa71.pth' pretrained_dict = torch.load(path) for k, v in pretrained_dict.items(): # k 参数名 v 对应参数值 print(k) 运行结果： ...
Pytorch 预训练模型加载、修改网络结构并固定某层参数训练、不同层采用不同的学习率
知识搬运者
08-24 9080
一、Pytorch中state_dict()、named_parameters()、model.parameter()区别 1、model.state_dict()： 是将 layer_name与 layer_param 以键的形式存储为 dict 。包含所有层的名字和参数，所存储的模型参数 tensor 的 require_grad 属性都是 False 。输出的值不包括 require_grad 。在固定某层时不能采用 model.state_dict() 来获取参数设置requ..........
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值