DNN训练技巧

Weight Constraint

在训练过程中,weight constraint(比如L2 norm,max norm)能保证学到的权重较小,和weight penalty效果等价。如果权重较大,则说明模型从异常值里学到了噪音,容易导致模型过拟合、不稳定。在loss中加入weight penalty,当weight很大时,会增加penalty,loss也就变大,但是,weight penalty不能保证权重一定很小,也有可能较大。而使用weight constraint,是在训练过程中,不断检查权重大小是否超过预先确定的一个阈值,如果超过,就rescale到阈值以下或者保持在一个范围之内。因此,weight constraint保证所有学到的权重都很小。

weight constraint和其他正则化方法(比如dropout)一起用,能明显提高模型的泛化性。

weight constraint的选择:

  1. unit norm:vector norm = 1
  2. maximum norm:限制vector norm的最大值
  3. min-max norm:限制vector norm的最大值和最小值
  4. non-nagative weights

使用weight constraint的小技巧:

  1. 输入数据归一化/标准化
  2. learning rate可以设置得较大

 

Normalization

什么是Internal Covariate Shift?

深度神经网络涉及到多层的叠加,每一层的参数更新会

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值