【pytorch】筛选冻结部分网络层参数同时设置有参数组的时候该怎么办?

在PyTorch中,当需要冻结神经网络的部分层并设置不同学习率时,可以结合使用筛选和参数组。通过正则表达式筛选所需层,使用`requires_grad`属性来冻结参数。在创建优化器时,需要过滤掉不需要更新的参数。然而,如果同时设置参数组和过滤器,错误的位置会导致报错。正确做法是在划分参数组时应用过滤器,避免在优化器初始化时混淆参数和学习率。
摘要由CSDN通过智能技术生成

在进行神经网络训练的时候,常常需要冻结部分网络层的参数,不想让他们回传梯度。这个其实很简单,其他博客里教程很多~
那如果,我想对不同的参数设置不同的学习率呢?这个其他博客也有,设置参数组就好啦,优化器就可以分别设置学习率了。
那么,如果我同时想冻结参数和设置不同的学习率呢?是不是把两个人给合起来就好了?好的那你试试吧看看行不行。

我最近工作中需要对two-stream的其中的一只进行冻结,并且设置不同的学习率。下面记录一下我踩的坑。
首先,我们需要筛选所需要的层。我想要把名字里含有特定符号的层给筛选出来。在这里我要强烈推荐这个利用正则表达式来进行字符串筛选的方式!

import re
str = 'assdffggggg'
word = 'a'
 a = [m.start() for m in re.finditer(word, str)]

这里的a是一个列表,它里面包含的是word在字符串str中所在的位置,这里自然就是0了。
在进行网络层参数冻结的时候,网上会有两种for循环:

for name, p in net.named_parameters():

for p in net.parameters():

这两种都行,但是对于需要对特定名称的网络层进行冻结的时候就需要选第一个啦,因为我们需要用到参数的"name"属性。
下面就是简单的筛选和冻结,和其他教程里面的一样:

word1 = 'seg'
for name, p in decode_net.named_parameters():
    str = name
   
  • 7
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值