深度学习问题2：pytorch-lightning加载的预训练网络会变化并且参数冻结失败

最新推荐文章于 2024-08-09 08:31:25 发布
最新推荐文章于 2024-08-09 08:31:25 发布
阅读量827 收藏 2
点赞数
分类专栏： # 深度学习问题 文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43967413/article/details/127994102
版权

问题描述

pytorch-lightning进行训练网络的时候，需要另一个预训练的网络进行特征提取，因为预训练网络也是我自己编写的，有输出的效果图，但在另一个pytorch-lightning编写的网络中发现，他在测试过程中输出的效果图跟原来不一样，并且eval、detach、requires_grad = False都加了也是一样的问题

原因分析

经过不断调试，定位到是预训练模型参数改变的原因，但是eval、detach、requires_grad = False这些我都加了。我是在pytorch-lightning的init方法里边进行eval的，我无意中发现，他在初始化的时候。似乎会自动帮我改成train模式

在这里插入图片描述

问题解决

如下，在on_train_start加上eval即可
在这里插入图片描述

愿你被这个世界温暖相待
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何在 PyTorch 中冻结模型权重以进行迁移学习：分步教程
gongdiwudu的专栏
10-10 4113
迁移学习是一种机器学习技术，其中预先训练的模型适用于新的但类似的问题。迁移学习的关键步骤之一是能够冻结预训练模型的层，以便在训练期间仅更新网络的某些部分。当您想要保留预训练模型已经学习的特征时，冻结至关重要。在本教程中，我们将使用一个简单的示例来演示在 PyTorch 中冻结权重以进行迁移学习的过程。
Pytorch 预训练模型加载、修改网络结构并固定某层参数训练、不同层采用不同的学习率
知识搬运者
08-24 8626
一、Pytorch中state_dict()、named_parameters()、model.parameter()区别 1、model.state_dict()： 是将 layer_name与 layer_param 以键的形式存储为 dict 。包含所有层的名字和参数，所存储的模型参数 tensor 的 require_grad 属性都是 False 。输出的值不包括 require_grad 。在固定某层时不能采用 model.state_dict() 来获取参数设置requ..........
3.pytorch lightning之加载权重
论文学习笔记-《Fast Online Object Tracking and Segmentation- A Unifying Approach》
04-07 1229
使用预训练的模型分两种情况，一种是pytorch训练的，lightning的模型也包括其中，另外一种是第三方的。第三方的详见对应的使用说明。
使用Pytorch加载预训练模型及修改网络结构
githubcurry
07-10 1602
（也就是卷积层）的网络结构。
U-Net网络使用预训练好的权重时遇到的问题与解决办法
qq_43050258的博客
09-16 2207
1、自己电脑有gpu，但是训练时出现以下问题 raise RuntimeError('Attempting to deserialize object on a CUDA ' RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_avwith map_location=torch.device('cpu') to map your storages to the CPU. 解决办法：将unet.p
Pytorch lightning 加载模型
qq_42696330的博客
10-25 1307
备忘
pytorch-lightning 用于预训练、微调和部署人工智能模型的深度学习框架
03-04
这是一个深度学习框架，该框架用于预训练、微调和部署人工智能模型。其中，新功能- Lightning 2.0 提供了简洁、稳定的应用程序接口（API)，使得在多个 GPU 和 TPU 上进行人工智能模型的预训练、微调和部署变得更加...
pytorch-lightning离线文档
04-05
pytorch-lightning 1.7.0离线文献。 官方网站：https://www.pytorchlightning.ai/ Github地址：https://github.com/PyTorchLightning 这个文档是html格式的，下载后直接解压，双击index.html，然后就可以开始查阅了...
pytorch-lightning-spells:一些有用的pytorch-lightning插件
03-25
随着深度学习的发展，"pytorch-lightning-spells"项目有望继续壮大，增加更多实用插件，以应对新的挑战和需求。同时，随着PyTorch Lightning社区的不断发展，这些插件也将不断更新和完善，以保持与最新版本的兼容性...
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
准备阶段，使用 PyTorch-Lightning 进行训练框架的搭建。 在{model_name}_main.py 入口脚本（例如 cnn_main.py）中设置 Global Seed 为 42，使用自定义的 MnistDataLoader 作为训练数据，使用 pl.Trainer()对模型...
pytorch_tempest:我使用pytorch-lightning和hydra训练神经网络的仓库
05-24
该存储库提供了用于训练神经网络的管道。 使用的主要框架： 管道的主要思想： 所有参数和模块都在配置中定义； 事先为不同的优化器/调度器等准备配置，因此很容易在它们之间进行切换； 有用于不同深度学习任务...
无法在Pytorch Lightning中加载自定义预训练权重
ZnS_oscar的博客
04-08 65
【代码】无法在Pytorch Lightning中加载自定义预训练权重。
pytorch：预训练权重、冻结训练和断点恢复
qq_42262610的博客
02-10 8543
本篇文章将介绍神经网络训练过程中的三个必备技能：使用预训练权重、冻结训练和断点恢复，巧妙运用这三个技巧可以很有效地提高网络的训练效率和效果。 01 引言 迁移学习在计算机视觉领域中是一种很流行的方法，因为它可以建立精确的模型，耗时更短。利用迁移学习，不是从零开始学习，而是从之前解决各种问题时学到的模式开始。这样，我们就可以利用以前的学习成果，避免从零开始。 02 使用预训练权重 在计算机视觉领域中，迁移学习通常是通过使用预训练模型来表示的。预训练模型是在大型基准数据集上训练的模型，用于解决相似的
Pytorch 冻结参数更新的三种方法
tanhongweibest的博客
11-14 2212
Pytorch冻结参数跟新的三种方法
python中模型训练不收敛问题
AI_girl的博客
01-24 4243
近期在做人脸表情识别时，遇到了一个问题，就是模型写好进行训练时，出现了不收敛的现象。情况如下： 出现这种问题，很难无从下手，一步一步的排查各个环节，首先检查模型，发现模型并木有问题。部分模型代码： def train_model(): # 构建模型---------------------------------------------------------- x = ...
[env]pytorch_lightning和pytorch对应版本问题
热门推荐
sinat_41506268的博客
08-11 1万+
直接使用pip安装pytorch_lightning会安装最新版本的库，且自动更新环境中的torch版本，导致torch和cuda版本不兼容，无法使用torch。重装torch后，因为torch版本与pytorch_lightning版本不兼容，无法使用pytorch_lightning出现上述错误。pytorch_lightning官方文档。更多版本兼容情况，可以在官方文档查看。
pytorch lightning 使用记录
cbx0916的博客
05-18 727
由于我们在使用pytorch时遇到的各种问题，出现了Pytorch-Lighting这一框架。Pytorch-Lighting 的一大特点是把模型和系统分开来看。系统定义了一组模型如何相互交互，如GAN（生成器网络与判别器网络）、Seq2Seq（Encoder与Decoder网络）和Bert。有时候问题只涉及一个模型，例如UNet、ResNet等，那么这个系统则可以是一个通用的系统，用于描述模型如何使用，并可以被复用到很多其他项目。
pytorch加载预训练模型并固定部分层，训练一段时间再取消固定从头训练
凡士林的博客
11-27 2043
首先加载预训练模型，将不需要训练的层requires_grad设置为False.(如果想要只训练分类层，记得分类成换成与之前不同的名字) state_dict_best = torch.load('./xxx.pth') model.load_state_dict(state_dict_best ,strict = False) # strict=False可以忽略加载预训练模型和自己不同的层。 for k,v in model.named_parameters(): if k!='xxx.w
pytorch-lightning多卡训练中途卡死，GPU利用率100%
qq_52423671的博客
04-12 2236
使用torch1.7.1+cuda101和pytorch-lightning==1.2进行多卡训练，模式为'ddp'，中途会出现训练无法进行的问题。发现是版本问题，升级为pytorch-lightning==1.5.10问题解除。在pip安装过程中会卸载掉我的torch，指定版本也没用，解决方式是等安装pytorch-lightning结束后再把torch版本换回来。
基于深度学习的图像伪造检测
最新发布
weixin_42605076的博客
08-09 524
基于深度学习的图像伪造检测主要利用深度学习技术来识别和检测伪造的图像内容，尤其是在生成对抗网络（GAN）等技术发展的背景下，伪造图像的逼真程度大大提升。图像伪造检测在信息安全、隐私保护、司法鉴定等领域具有重要意义。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值