深度学习中的常见正则化方法(Regularization)以及优化器中的WeightDecay参数详解

什么是正则化

“正则化"这个词听起来十分的高大上,但是我们可以简单的理解成为"约束”。

正则化是对参数的一种约束,在训练的过程中,特别是深度神经网络,本身网络层中的参数很多了、,如果每个参数的取值域也很大,那么会对训练造成一些麻烦(训练久之后,可能进入过拟合的状态),所以我们通过对参数的约束来显式的控制模型的复杂度,从而在一定程度上避免过拟合现象的产生。

所以正则化就是通过对网络层的参数加以限制,从而减少过拟合现象的产生。

一些常用的正则化方法

权重衰减

在每次更新参数的时候,设定一个

L1正则化

加入我们训练的网络的参数为w.则

在这里插入图片描述
如果我们有一个分类问题,则根据分类产生的误差有一个classfication_loss.我们正则化有一个l1_loss.最后有一个loss_total.其中loss_total=classfication_loss+l1_loss.
当我们进行参数更新的时候,是使用w=w-lr*偏导数,是朝着loss减小的方向进行的。如果我们的w太大,会导致loss很大,所以相当于限定了w的范围,从而避免过拟合。

L2正则化

L2正则化,在深度学习中又称为<

  • 2
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值