ML/DL的 正则化方法

正则化方法

在机器学习和深度学习中，正则化的最大作用就是防止过拟合，提高模型的泛化性能，具体的方式就是在原来的损失函数中加入惩罚因子。

解决方式：

• 增加数据集
• 减少特征，留下重要的，具有普遍的特征
• 惩罚不重要的特征。

具体的一些实现方式

• 数据增强
• 正则化技术
• Dropout
• Early Stopping

正则化

L2正则化

L2 正则化就是在损失函数后面加上L2 正则化项:
$$\frac{\lambda }{2n}\sum _{i=1}^n{w}_i^2$$
L2的正则化公式：
$$L=L_0+\frac{\lambda }{2n}\sum _{i=1}^n{w}_i^2$$
其中$L_0$是原始损失函数，$\lambda$是正则项系数，其中加入$\frac{1}{2}$是为了便于求导简化。
最终得到权值的更新公式：
$$w=(1-\eta \frac{\lambda }{n})w-\eta \frac{\partial L_0}{\partial w}$$
其中 $\eta ,\lambda ,n$分别为学习率，正则系数，样本大小，均为正数，所以$w$的系数是恒小于1的，
可以看出，L2正则化就是用来惩罚特征权值$w$的，也就是所谓的 权值衰减。
更小的$w$ 作用在原来的模型函数上，相当于降低了模型的复杂度，所以可以防止过拟合。

L1正则化

L1正则化公式：
$$L=L_0+\frac{\lambda }{n}\sum _{i=1}^n\left|w_i\right|$$
L1正则化的目的也是为了让权值趋于0，减少模型复杂度。
在实际应用中一般使用L2正则化，L1范式会产生稀疏解，具有一定特征选择能力，对求解高维特征空间比较有用

L1范式会产生稀疏解的理解：L1范式会产生稀疏解的理解

最大约束范式

本质 就是约束权值，对每个神经元的权重绝对值给予限制。实际操作就是先正常更新，然后进行限制公式如下：
$${\left|\left|\overline{w}\right|\right|}_2<c$$
c一般取值为3或者4.这样即使学习率很大，也不会因为网络参数发生膨胀导致过拟合。