过拟合、欠拟合，如何解决

一个模型所能提供的信息一般来源于2个方面，一是训练数据中蕴含的信息，二是在模型的形成过程中（包括构造，学习，推理等），人们提供的先验信息。当训练数据不足时，说明模型从原始数据中获取的信息比较少，这种情况下要保证模型的效果，就需要更多的先验信息。先验信息可以作用在模型上，例如让模型采用特定的内在结构，条件假设或添加其他一些约束条件；先验信息也可以直接作用在数据集上，即根据特定的先验假设去调整，变换或扩展训练数据，让其展现出更多的，更有用的信息，以利于后续模型的训练和学习。

 

在图像分类任务中，训练数据不足会带来什么问题？

具体到分类任务上，，训练数据不足带来的问题主要体现在过拟合方面。即模型在训练样本上的效果可能不错，但在测试数据集上泛化效果不佳。

 

如何缓解数据量不足带来的问题？

一是基于模型的方法，主要是采用降低过拟合风险的措施，包括简化模型 ， （将非线性模型简化为线性模型），添加约束项以缩小假设空间（L1/L2正则项），集成学习，Dropout超参数等。

二是基于数据的方法：主要通过数据扩充，即根据一些先验知识，在保持特定信息的前提下，对原始数据进行适当变换以达到扩充数据集的效果。

具体到图像分类任务重，在保持图像类别不变的前提下，可以对训练集中每幅图像进行以下变换。

1.一定程度内的随机旋转，平移，缩放，裁剪，填充，左右翻转等，这些变换对应着同一个目标在不同角度的观察结果。

2.对图像中像素添加噪声扰动，比如椒盐噪声，高斯白噪声。

3，颜色变换。例如在RGB颜色空间上进行主成分分析，得到3个主成分特征向量p1,p2,p3.及其对应的特征值，然后再么给像素的RGB值上添加增量。

4.改变图像的亮度，清晰度，对比度，锐度。

 

除了直接在图像空间进行变换，还可以先对图像进行特征提取 ，然后再图像的特征空间内进行变换，利用一些通用的数据扩充或上采样技术，例如SMOTE算法。

抛开上诉这些启发式变化方法，使用生成模型也可以合成一些新样本，例如非常流行的生成式对抗网络模型。

此外 借助已有的其他模型或数据进行迁移学习在深度学习中也十分常见。例如，对大部分的图像进行分类任务，并不需要从头开始训练模型，而是借用一个在大规模数据集上预训练好的通用模型，并在针对目标任务的小数据集上进行微调，这种微调操作也可以看作一种简单的迁移学习

4.
————————————————
版权声明：本文为CSDN博主「光英的记忆」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_29678299/article/details/88729112

 

过拟合：数据量过大，模型为了尽可能的拟合数据，不断委屈自己适应训练数据。此时，模型在训练数据上效果很好，在测试数据上效果很差
欠拟合：模型没有完全拟合数据，比如一个随机初始化的模型。此时，模型在训练数据和测试数据上效果都很差
数据量过少，不属于以上两种情况，此时模型稍加训练便可以拟合训练数据。此时模型在训练数据上表现很好，在测试数据上表现很差。此时通过降低模型的复杂度，拟合规整数据，取得了不错的效果
————————————————
版权声明：本文为CSDN博主「loveqiong2746」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u011334375/article/details/88716007

 

1、从模型方面考虑。举例说明：本身问题是二次的，用线性模型处理问题就是欠拟合，用三次及更高次处理问题就是过拟合。但是这里未考虑数据量的多少，只是针对本身模型阶次的考虑。而且现实问题，越强大的模型是很难确定模型复杂度的。

2、处理相同的问题时，在数据量多的情况，可以用相对复杂的模型处理问题，在数据量少的情况下，可以用相对简单的模型处理问题。过拟合：当数据量太少时，模型无法完成充分的训练，模型过度拟合用于训练的少量数据的信息，对测试数据效果不好，泛化能力差；欠拟合：数据量很多，但是模型太简单没有充分利用数据信息模型不够准确。

3、欠拟合：表现为模型特征维度过少，参数值较小等情况，此时模型过于简单，但是数据量很大，所用模型没有充分学习大量数据提供的信息，模型准确性差； 
　　　　　  解决方法：（1）增加特征维度；，增大参数值，换用更为复杂的模型等。
　 过拟合：表现为特征维度过多，参数值过大，此时模型假设过于复杂，但是训练数据过少，噪声过多，导致拟合的函数完美的拟合训练集，但对新数据的测试集预测结果差，泛化能力差。
　　　　　 解决方法：（1）减少特征维度；（2）正则化，降低某些过大的参数值。（3）在神经网络中dropout, 随机删减一些神经元。

 

综上所属：可以总结为（1）当模型在训练集上准确性一般，但是在测试集上表现也尚可，即泛化能力好时为欠拟合；（2）当模型在测试集上表现不好，泛化能力差，但是对于训练数据准确性高时表现为过拟合；（3）两者皆不好时考虑进一步数据与处理和特征选择或者换模型；（4）两者都好时模型能够较好的拟合现有数据，皆大欢喜。