神经网络中的过拟合的原因及解决方法、泛化能力、L2正则化

过拟合：训练好的神经网络对训练数据以及验证数据拟合的很好，accuracy很高，loss很低，但是在测试数据上效果很差，即出现了过拟合现象。

过拟合产生的原因：

（1）数据集有噪声

（2）训练数据不足

（3）训练模型过度导致模型非常复杂

解决方法：

（1）降低模型复杂度（缩小宽度和减小深度）

（2）数据集扩增（平移，旋转，缩放，剪切，添加噪音）

（3）正则化。

（4）加入droupout，让神经元以一定的概率不工作。

（5）early stopping

（6）ensemble（集成学习），特征融合。

泛化能力：训练好的神经网络模型对不在训练集中的数据的预测能力。

L2正则化：

 

        正则化后的损失函数多了一项正则项，为正则化参数，若很大，则损失函数偏向于减小权重的值，若很小，则损失函数偏向于减小原损失函数的数值。

为什么正则化能够防止过拟合：

        在神经网络中，正则化网络更倾向于小的权重，在权重小的情况下，数据x随机的变化不会对神经网络的模型造成太大的影响，所以可能性更小的受到数据局部噪音的影响。而未加入正则化的神经网络，权重大，容易通过较大的模型改变来适应数据，更容易学习到局部的噪音。