参考链接:https://blog.csdn.net/weixin_46006304/article/details/107445060
1.正则化概念
正则化是一种防过拟合的有效手段。
网络的输出是由权重和偏执这样的参数决定的,过拟合也发生在权重和偏执这样的参数的形态上面。权重分布意味着特征经过计算层后的分布情况。假定权重比较接近,那么被激活后数据之间依然能保持平滑分布,但是如果有的权重过大,激活后就变得非常高低起伏,引起这种过渡弯曲的分布,就会造成过拟合。因此我们要让权重尽量满足某种分布,这种分布能使输出不太卷曲。
我们通过引入一种防止过拟合的权重分布,让权重在调整减小LOSS的同时尽量的接近这种分布,这就是正则化。
2.正则化方法
1.L1 L2正则化 (参数惩罚)
在机器学习中,使用L1正则化的模型叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归),具体使用方法就是直接将L1、L2作为惩罚项添加在损失函数后,限制权重的输出,同时也可以降低模型的复杂度,使得模型在复杂度和性能之间达到平衡。具体公式如下:
L1正则:表达式为α乘以权值向量w各元素绝对值和,它会将对模型特征表达影响较小的权值变为0,产生一个稀疏矩阵,实现了降维(筛选特征的目的)。
L2正则:表达式为α乘以权值向量w各元素的平方和开根,它会对网络一些大数值的参数进行惩罚,即L2正则就是使网络更倾向于使用所有输入特征,而不是严重依赖输入特征中某些小部分特征。
2. Early Stopping
提前终止可能是深度学习中最常用的正则化形式。通常不断训练之后,损失越来越小。但是到了一定之后,模型学到的过于复杂(过拟合)造成测试集开始损失较小,后来又变大。模型的w参数会越来越大,那么可以在测试集损失减小一定程度之后停止训练。
3.Dropout
在每次训练的时候,让神经元以一定的概率失活,打破神经元之间的相互依赖性,使这个神经元学习到的特征不再与固定的输入有关,而是随机的,迫使网络学习到一些更加鲁棒的特征。一般来说,选择的Dropout率为0.5,因为这样随机性最强。
4.数据增强
图像数据增强主要通过算法对图像进行转变,引入噪声等方法来增加数据的多样性。
增强的方法如下:旋转(Rotation)、翻转(Flip)、缩放(Zoom In/Out)、平移(Shift)、 随机噪声(Noise)。