过拟合和欠拟合_深度学习中的过拟合问题

1、过拟合问题

　　欠拟合：根本原因是特征维度过少，模型过于简单，导致拟合的函数无法满足训练集，误差较大。

解决方法：增加特征维度，增加训练数据；

过拟合：根本原因是特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。 过度的拟合了训练数据，而没有考虑到泛化能力。

解决方法：(1)减少特征维度；(2)正则化，降低参数值。

2、产生过拟合根本原因：

　　1、 观察值与真实值存在偏差：
　　 训练样本的获取，本身就是一种抽样。抽样操作就会存在误差， 也就是你的训练样本取值，X = x(真值) + u(随机误差)，机器学习的优化函数多为min Cost函数，自然就是尽可能的拟合 X，而不是真实的x, 所以就称为过拟合了，实际上是学习到了真实规律以外的随机误差。举个例子说，你想做人脸识别，人脸里有背景，要是你这批人脸背景A都相似，学出来的模型，见到背景A，就会认为是人脸。这个背景A就是样本引入的误差。2、 数据太少，导致无法描述问题的真实分布
　　举个例子，