过拟合的原因和解决方案

一、过拟合的原因

1. 训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度；

2. 训练集和测试集特征分布不一致；

3. 样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；

4. 权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征。

二、过拟合的解决方案

1. 调小模型复杂度，使其适合自己训练集的数量级（缩小宽度和减小深度）；

2. 训练集越多，过拟合的概率越小。在计算机视觉领域中，增广的方式是对图像旋转，缩放，剪切，添加噪声等；

3. 参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。正则化是指通过引入额外新信息来解决机器学习中过拟合问题的一种方法。这种额外信息通常的形式是模型复杂性带来的惩罚度。 正则化可以保持模型简单，另外，规则项的使用还可以约束我们的模型的特性；L0范数是指向量中非0的元素的个数，L1范数是指向量中各个元素绝对值之和，L2范数是指向量各元素的平方和然后求平方根。

4. dropout方法是ImageNet中提出的一种方法，通俗一点讲就是dropout方法在训练的时候让神经元以一定的概率不工作。

转自：https://www.toutiao.com/a6570854068908982787/?tt_from=mobile_qq&utm_campaign=client_share&timestamp=1529926303&app=news_article&utm_source=mobile_qq&iid=29811624951&utm_medium=toutiao_android