pytorch-网络层初始化记录

为节省时间,特此记录有关pytorch-权重初始化和L2_weight设置的东西。

初始化:

pytorch 官网有关自然语言处理-权重初始化

def init_weights(m: nn.Module):
    for name, param in m.named_parameters():
        if 'weight' in name:
            nn.init.normal_(param.data, mean=0, std=0.01)
        else:
            nn.init.constant_(param.data, 0)


model.apply(init_weights)

l2-weight正则化项:有的只对权重进行正则化,不对偏执进行正则化。当时查了很久,觉得靠谱的版本特此记录:

参考:

https://discuss.pytorch.org/t/l2-regularization-with-only-weight-parameters/56853/2

https://blog.csdn.net/loseinvain/article/details/81708474#commentsedit

    weight_p, bias_p = [], []
    for name, p in model.named_parameters():
        if 'bias' in name:
            bias_p += [p]
        else:
            weight_p += [p]

    optimizer = optim.Adam(
        [{'params': bias_p, 'weight_decay': 0},
         {'params': weight_p, 'weight_decay': 1e-2}],
        lr=TRAIN_LR,
        betas=(0.5, 0.999)
    )

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值