【pytorch】固定(freeze)住部分网络

ZHANG8023ZHEN

已于 2024-08-23 10:36:34 修改

阅读量55

点赞数

文章标签：神经网络

于 2024-08-22 20:07:19 首次发布

本文链接：https://blog.csdn.net/ZHANG8023ZHEN/article/details/141436928

版权

https://blog.csdn.net/jningwei/article/details/120300014

如果使用过了FSDP架构，需要使用pytorch2.0以上的版本。

use_orig_params=true
ignored_parameters=[param for param in model.parameters() if not param.requires_grad] # 如果是2.1.0以上版本，使用ignored_states

https://github.com/pytorch/pytorch/issues/104690

https://pytorch.org/docs/stable/fsdp.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ZHANG8023ZHEN

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【pytorch】固定(freeze)住部分网络

https://blog.csdn.net/jningwei/article/details/120300014
复制链接

扫一扫

【pytorch】freeze

JNing

09-22

532

Pytorch之冻结指定层网络参数

隔壁老陈的博客

10-18

995

Pytorch之冻结指定层网络参数一、问题描述二、代码实现参考博客一: https://blog.csdn.net/zzy_pphz/article/details/105574082. 参考博客二: https://blog.csdn.net/zzy_pphz/article/details/105574288. 一、问题描述我自己的网络模型用model.children()返回只有一个模型，所有的层都在一个模块里，没法用for name, module in model._modules.items

参与评论您还未登录，请先登录后发表或查看评论

pytorch固定BN层参数

grllery的博客

11-29

5923

背景：基于PyTorch的模型，想固定主分支参数，只训练子分支，结果发现在不同epoch相同的测试数据经过主分支输出的结果不同。原因：未固定主分支BN层中的running_mean和running_var。解决方法：将需要固定的BN层状态设置为eval。问题示例：环境：torch：1.7.0 # -*- coding:utf-8 -*- import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.M

Pytorch载入部分参数并冻结

Onwaier的博客

02-28

5694

Pytorch载入部分参数并冻结

Kan网络pytorch的实现

05-31

权重替换：KAN网络通过将权重参数替换为可学习的单变量函数，提高了网络的性能和可解释性。这种设计使得KAN网络在准确性和可解释性方面优于传统的多层感知器（MLP）。激活函数位置：与传统的MLP不同，KAN网络中的...

pytorch 实现的DBN网络

03-05

在PyTorch框架中实现DBN网络，可以利用其强大的计算能力和灵活性。本项目主要目标是使用PyTorch构建一个DBN网络，对具有不定长度（N）和21维特征的数据进行回归预测，输出为N维的标量序列。首先，理解DBN的核心...

pytorch 固定部分参数训练的方法

01-20

需要自己过滤 optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) 另外，如果是Variable，则可以初始化时指定 j = Variable(torch.randn(5,5), requires_grad=True) ...

胶囊网络python-pytorch版本

05-24

胶囊网络（Capsule Networks）是一种深度学习模型，由Geoffrey Hinton及其团队提出，旨在解决传统卷积神经网络（CNNs）在处理位置信息和部分-整体关系时的局限性。该模型通过引入胶囊（Capsules）的概念，胶囊不仅...

PyTorch生成对抗网络编程

07-14

PyTorch生成对抗网络编程（畅销书《Python神经网络编程》作者最新力作！用PyTorch构建自己的生成对抗网络） by 塔里克·拉希德

神经网络的数学原理

突然好想你

08-14

538

人工智能技术的发展与成功应用已经成为21世纪科技领域最大的新现象。然而，科学地理解人工智能原理已经超出了现有科学体系的范畴。显然，人工智能是人类科学技术发展的必然结果，人工智能科学也将是人类科学进步与发展必然实现的目标🌈

矩阵和神经网络的优雅与力量-《Python神经网络编程》读后感

liuwill的博客

08-19

626

计算机的优势是像时间机器一样，不知疲倦，可以通过人类的所有能源技术和计算技术，短时间内处理巨大的数据量。

寄快递小程序（源码）.zip

08-22

寄快递小程序（源码）.zip

基于Springboot的个人博客系统的设计与实现源码（优秀毕业设计源码）

08-22

1. 个人博客系统的设计与实现代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：前端是vue，后端是springboot，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374

数学建模-2021年-国赛D题-解决连铸切割问题（模拟训练专用）

08-22

题是在参加学校数学建模培训时的第二道模拟训练题，为2021年国赛D题解决连铸切割问题。该题主要采用多目标规划以及序贯解法解决。本题的最终论文已存放在该压缩包感兴趣可下载使用学习。本文针对尾坯长度和结晶器异常情况，给出最优的切割方案，满足用户的目标要求和正常要求。解决这个问题可以提高生产效率，减少资源浪费，满足用户需求，确保生产线的正常运行。问题一：这个问题根据尾坯长度制定出最优的切割方案，这是一个规划优化类问题。我们使用了多目标规划模型和序贯算法，首先考虑报废钢坯的长度，使报废钢坯长度最小；其次考虑用户要求，在相同的切割损失下，切割出的钢坯尽量满足用户的目标范围中的目标值，得出最优切方案（表 1）。问题二：在钢坯第 1 次出现报废段时，给出此段钢坯的切割方案；我们继续使用多目标规划模型，目标一：首先考虑报废钢坯的长度，使报废钢坯长度最小；目标二：其次考虑用户要求，在相同的切割损失下，切割出的钢坯尽量满足用户的目标范围[9.0,10.0]标;目标三：达到用户目标值 9.5m。根据多目标规划模型分别依次计算从初始时刻到每次结晶器异常时刻的尾坯切割方案

1021330100000000606020231723102386644

08-22

1021330100000000606020231723102386644

Python100道题(38).zip

08-22

python爬虫

基于Android手机图片浏览器APP设计与实现.docx

08-22

基于Android手机图片浏览器APP设计与实现.docx

小程序基于SpringBoot+vue 美食推荐系统小程序源码带毕业论文