神经网络正则化

参考链接：https://blog.csdn.net/weixin_46006304/article/details/107445060

1.正则化概念

正则化是一种防过拟合的有效手段。

网络的输出是由权重和偏执这样的参数决定的，过拟合也发生在权重和偏执这样的参数的形态上面。权重分布意味着特征经过计算层后的分布情况。假定权重比较接近，那么被激活后数据之间依然能保持平滑分布，但是如果有的权重过大，激活后就变得非常高低起伏，引起这种过渡弯曲的分布，就会造成过拟合。因此我们要让权重尽量满足某种分布，这种分布能使输出不太卷曲。

我们通过引入一种防止过拟合的权重分布，让权重在调整减小LOSS的同时尽量的接近这种分布，这就是正则化。

2.正则化方法

1.L1 L2正则化 （参数惩罚）

在机器学习中，使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归），具体使用方法就是直接将L1、L2作为惩罚项添加在损失函数后，限制权重的输出，同时也可以降低模型的复杂度，使得模型在复杂度和性能之间达到平衡。具体公式如下：

 

 L1正则：表达式为α乘以权值向量w各元素绝对值和，它会将对模型特征表达影响较小的权值变为0，产生一个稀疏矩阵，实现了降维（筛选特征的目的）。

L2正则：表达式为α乘以权值向量w各元素的平方和开根，它会对网络一些大数值的参数进行惩罚，即L2正则就是使网络更倾向于使用所有输入特征，而不是严重依赖输入特征中某些小部分特征。

2. Early Stopping

提前终止可能是深度学习中最常用的正则化形式。通常不断训练之后，损失越来越小。但是到了一定之后，模型学到的过于复杂（过拟合）造成测试集开始损失较小，后来又变大。模型的w参数会越来越大，那么可以在测试集损失减小一定程度之后停止训练。

3.Dropout

在每次训练的时候，让神经元以一定的概率失活，打破神经元之间的相互依赖性，使这个神经元学习到的特征不再与固定的输入有关，而是随机的，迫使网络学习到一些更加鲁棒的特征。一般来说，选择的Dropout率为0.5，因为这样随机性最强。

4.数据增强

图像数据增强主要通过算法对图像进行转变，引入噪声等方法来增加数据的多样性。

增强的方法如下：旋转(Rotation)、翻转(Flip)、缩放(Zoom In/Out)、平移(Shift)、 随机噪声(Noise)。