深度学习网络中设置部分层参数可调

1.基于框架pytorch。先查看网络每层的名字p[0],将需要梯度更新的层的名字记下,替换以下代码中的’conv5_ft.conv.weight/bias’,将不需要梯度更新层的require_grad设为False。

for p in net.named_parameters():
    if p[0] != 'conv5_ft.conv.weight' and p[0]!='conv5_ft.conv.bias':                 //should be changed
        p[1].requires_grad=False

ps:如果有梯度,不更新,则该梯度会影响其他层的参数更新。
2.验证设置是否成功:

for xyz in net.parameters():
       print(xyz.requires_grad)

3.最后一步,将require_grad=False的层筛掉,只对True层进行参数优化:
决定本层参数是否更新

optimizer = torch.optim.SGD(filter(lambda p: p.requires_grad, net.parameters()),lr=lr,momentum=cfg.momentum,weight_decay=cfg.weight_decay)

4.训练一段时间后验证是否成功:
利用net.named_parameters()输出训练前后某层参数p[1],看是否不同。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值