机器学习基础篇-正则化

正则化项

正则化是一种防止模型过拟合的方法，它常被添加在损失函数中。

L2正则化项
$$minJ(W,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^i,y^i)+\frac{\lambda }{2m}||W|{|}_2^2$$

在上式公式中,$\frac{\lambda }{2m}||W|{|}_2^2$就是正则化项，$\lambda$表示正则化项的超参数，也可以间接理解为学习率。
L2正则化也可以理解为一种权重衰减的方法。

对于逻辑回归模型，W作为一种参数（W的维度取决于特征的维度），那么L2正则化项可以表示为：
$$||W|{|}_2^2=\sum _{j=1}^{dimension}{W}_j^2$$

对于具有多层的神经网络模型，层与层之间存在多个参数矩阵。每层W的矩阵可以表达为$（n^{[l]},n^{[l-1]}）$，在等式中，$l$表示第$l$层隐层，$n^{[l]}$表示第$l$层隐层的神经元个数，所以，L2正则化项可以表示为：
$$\begin{gathered} \frac{\lambda }{2m}\sum _{l=1}^L||W^l|{|}_2^2 \\ ||W^l|{|}_2^2=\sum _{i=1}^{n^{|l-1|}}\sum _{j=1}^{n^{|l|}}(W_{ij}^l{)}^2 \end{gathered}$$

L1正则化项
$$\begin{gathered} minJ(W,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^i,y^i)+\frac{\lambda }{2m}||W^l|| \\ ||W^l||=\sum _{i=1}^{n^{|l-1|}}\sum _{j=1}^{n^{|l|}}{W}_{ij}^l \end{gathered}$$

如果我们采用L1正则化，那么参数W会变得很稀疏。