作者:离散梦
欢迎大家给出宝贵的建议!
Overfitting怎么解决? L1和L2正则化介绍
Overfitting怎么解决?
Regularizatin(L1、L2正则化)、dropout、Batch Normalization、Early Stopping
L2正则化:(权重衰减惩罚)
对b没有更新,W有更新。
【为学习率】
所以L2正则化是减小W,也就是权重衰减(weight decaying)。但因为后面导数项,所以W可能增大也可能减小。
L1正则化:(参数稀疏性惩罚)
当W为正,更新后W变小。当w为负时,更新后W变大,因此它的效果就是让W往0靠,使网络中的权重尽可能为0,也相当于减小了网络的复杂度,防止过拟合。
注:W=0时,不可导,规定sgn(0)=0,编程时令sgn(0),sgn(W>0)=1,sgn(W<0)=-1。