正则化与过拟合

正则化

减少泛化误差，不是减少训练误差的方法。

L1范数

• 公式如下：
  

将相同距离的点连在一起是一个正方形，如下图所示：

L2范数-》欧式距离

• 公式如下：相当于高维的勾股定理
• 

将相同欧式距离的点连在一起将是一个圆

L1L2正则化

• 是利用L1和L2的凸集特性
• L2正则化限制了w的权重，使其在一个较小的范围，这样带来的好处是在模型达到局部最优的情况下，减少了误差带来的影响。
• L1正则化带来了稀疏性

过拟合

1、过拟合问题

欠拟合： 根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大；
　　　　　　解决方法：增加特征维度，增加训练数据；
　　过拟合： 根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。
　　　　　　解决方法：（1）减少特征维度；（2）正则化，降低参数值。

**减少过拟合总结：**过拟合主要是有两个原因造成的：数据太少+模型太复杂

1. 获取更多数据 ：从数据源头获取更多数据；数据增强（Data Augmentation）
2. 使用合适的模型：减少网络的层数、神经元个数等均可以限制网络的拟合能力；
3. 正则化，在训练的时候限制权值变大；
4. dropout ；
5. BN，每个隐层都进行归一化，使每一层神经网络的输入保持相同分布的，将输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题；
6. 限制训练时间；通过评估测试；
7. 增加噪声 Noise： 输入时+权重上（高斯初始化） ；
8. 数据清洗(data ckeaning/Pruning)：将错误的label 纠正或者删除错误的数据。
9. 结合多种模型： Bagging用不同的模型拟合不同部分的训练集；Boosting只使用简单的神经网络；

产生过拟合根本原因：

1、 观察值与真实值存在偏差：
　　 训练样本的获取，本身就是一种 抽样。抽样操作就会存在误差， 也就是你的训练样本 取值 X， X = x(真值) + u（随机误差)，机器学习的 优化函数 多为 min Cost函数，自然就是尽可能的拟合 X，而不是真实的x,所以 就称为过拟合了，实际上是学习到了真实规律以外的 随机误差。举个例子说，你想做人脸识别，人脸里有背景吧，要是你这批人脸背景A都相似，学出来的模型，见到背景A，就会认为是人脸。这个背景A就是你样本引入的误差。
　　2、 数据太少，导致无法描述问题的真实分布
　　举个例子，投硬币问题 是一个 二项分布，但是如果 你碰巧投了10次，都是正面。那么你根据这个数据学习，是无法揭示这个规律的，根据统计学的大数定律（通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率），当样本多了，这个真实规律是必然出现的。
　　为什么说 数据量大了以后 就能防止过拟合，数据量大了，
问题2，不再存在，
问题1，在求解的时候因为数据量大了， 求解min Cost函数时候， 模型为了求解到最小值过程中，需要兼顾真实数据拟合 和 随机误差拟合，所有样本的真实分布是相同的（都是人脸），而随机误差会一定程度上抵消（背景），

（1）数据有噪声。

我们可以理解地简单些：有噪音时，更复杂的模型会尽量去覆盖噪音点，即对数据过拟合。这样，即使训练误差Ein 很小（接近于零），由于没有描绘真实的数据趋势，Eout 反而会更大。
　　即噪音严重误导了我们的假设。还有一种情况，如果数据是由我们不知道的某个非常非常复杂的模型产生的，实际上有限的数据很难去“代表”这个复杂模型曲线。我们采用不恰当的假设去尽量拟合这些数据，效果一样会很差，因为部分数据对于我们不恰当的复杂假设就像是“噪音”，误导我们进行过拟合。

如下面的例子，假设数据是由50次幂的曲线产生的（下图右边），与其通过10次幂的假设曲线去拟合它们，还不如采用简单的2次幂曲线来描绘它的趋势。

（2）训练数据不足，有限的训练数据。

（3）训练模型过度，导致模型非常复杂。

2、正则方法主要有哪些？

（1）L1和L2正则： 都是针对模型中参数过大的问题引入惩罚项，依据是奥克姆剃刀原理。在深度学习中，L1会趋向于产生少量的特征，而其他的特征都是0增加网络稀疏性；而L2会选择更多的特征，这些特征都会接近于0，防止过拟合。神经网络需要每一层的神经元尽可能的提取出有意义的特征，而这些特征不能是无源之水，因此L2正则用的多一些。

（2）dropout： 深度学习中最常用的正则化技术是dropout，随机的丢掉一些神经元。

Dropout的核心思想是训练时以一定的概率p（通常是50%）关闭隐藏层神经元的输出，也就是输出为0。这种策略可以从不同角度理解：首先这使得每次训练的模型并不是相同的结构，可以认为是原网络的子集，最终的输出是这些不同模型不同结构共同作用的结果（类似于集成学习中Bagging的策略）；另外Dropout方法可以让神经元之间减小依赖性，因为随机的关闭可以使得神经元之间不会总是同时作用。
测试时，全部神经元都使用，但是他们的输出乘上了系数（1-p）。

（3）数据增强， 比如将原始图像翻转平移拉伸，从而是模型的训练数据集增大。数据增强已经是深度学习的必需步骤了，其对于模型的泛化能力增加普遍有效，但是不必做的太过，将原始数据量通过数据增加增加到2倍可以，但增加十倍百倍就只是增加了训练所需的时间，不会继续增加模型的泛化能力了。

（4）提前停止（early stopping）： 就是让模型在训练的差不多的时候就停下来，比如继续训练带来提升不大或者连续几轮训练都不带来提升的时候，这样可以避免只是改进了训练集的指标但降低了测试集的指标。

（5）批量正则化（BN）： 就是将卷积神经网络的每层之间加上将神经元的权重调成标准正态分布的正则化层，这样可以让每一层的训练都从相似的起点出发，而对权重进行拉伸，等价于对特征进行拉伸，在输入层等价于数据增强。注意正则化层是不需要训练。