pytorch 一些关于模型参数冻结的问题

1.lambda表达式,又称匿名函数

作用:函数速写

语法:lambda arg : expression,解释:冒号前是参数,冒号后是返回值。

例子:

>>x=range(10)
>>lambda x:x%2==1

2.filter函数

参数:一个函数func和一个列表list

func的作用:对list的每个元素进行判断,符合条件返回true,否则返回false

filter根据判断结果自动过滤掉不符合条件的元素,并返回有符合元素组成的新列表

举例:

>>x=range(10)
>>filter(lambda x:x%2==1,x)
​
[1, 3, 5, 7, 9]

3.冻结一部分模型的参数中使用了上面两个函数:

# 模型准备
model = MyModel()
 
# 优化、正则项、权重设置与冻结层
 
for param in model.parameters():
    param.requires_grad = False
for param in model.add_block.parameters():
    param.requires_grad = True
 
optimizer = optim.SGD(
            filter(lambda p: p.requires_grad, model.parameters()),  # 记住一定要加上filter(),不然会报错
            lr=0.01,
            weight_decay=1e-5, momentum=0.9, nesterov=True)

参考:https://blog.csdn.net/jdzwanghao/article/details/83239111

集中分析下面这行代码

 filter(lambda p: p.requires_grad, model.parameters()),  # 记住一定要加上filter(),不然会报错

由上面第1个函数所知

lambda p: p.requires_grad 中,p是参数,而 p.requires_grad是返回值

结合第2个函数所知 filter(lambda p: p.requires_grad, model.parameters())中 lambda p: p.requires_grad就是以p为参数的满足p.requires_grad的true的条件的函数。而参数p赋值的元素从列表model.parameters()里取。所以只取param.requires_grad = True(模型参数的可导性是true的元素),就过滤掉为false的元素。

  • 10
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
PyTorch冻结某些层参数不训练可以通过以下步骤实现: 1. 加载 ResNet50 预训练模型: ```python import torchvision.models as models resnet50 = models.resnet50(pretrained=True) ``` 2. 冻结指定层的参数: ```python for name, param in resnet50.named_parameters(): if 'layer3' not in name and 'layer4' not in name: param.requires_grad = False ``` 上述代码中,我们遍历 ResNet50 模型的所有参数,如果参数名中不包含 "layer3" 和 "layer4",则将其 requires_grad 属性设置为 False,即冻结该层的参数。 3. 将模型放到 GPU 上: ```python device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') resnet50 = resnet50.to(device) ``` 4. 定义优化器和损失函数: ```python import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(filter(lambda p: p.requires_grad, resnet50.parameters()), lr=0.001, momentum=0.9) ``` 上述代码中,我们只优化 requires_grad 属性为 True 的参数,即未冻结参数。 5. 训练模型: ```python for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): inputs = inputs.to(device) labels = labels.to(device) optimizer.zero_grad() outputs = resnet50(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 上述代码中,我们使用 DataLoader 加载数据,并将输入和标签放到 GPU 上进行训练。由于部分参数冻结,因此反向传播时只会更新未冻结参数
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值