Overfitting-过拟合 欠拟合（undefittingr）

什么是过拟合

过拟合：我们通过训练集训练的模型对于训练样本的的拟合程度十分高，就会放大一些不必要的特征，再对测试集进行测试时，就容易造成测试精度很低，也就是模型的泛化能力很弱，这就是过拟合。

 

怎么解决过拟合

对应导致过拟合发生的几种条件，我们可以想办法来避免过拟合。

(1) 假设过于复杂(excessive dvc) => start from simple model

(2) 随机噪音 => 数据清洗         数据清洗(data ckeaning/Pruning) 将错误的label 纠正或者删除错误的数据

(3) 数据规模太小 => 收集更多数据，或根据某种规律“伪造”更多数据

“伪造”更多数据, add "virtual examples" 例如，在数字识别的学习中，将已有的数字通过平移、旋转等，变换出更多的数据。

（4）交叉验证

在训练的过程中验证在测试集上的正确率，当正确率不再有明显提升时停止训练

 

（5）利用L1、L2正则化。利用惩罚机制，让W参数变化不会过大，这些方法适用于大多数的机器学习, 包括神经网络. 

（6）Dropout

仅适用于神经网络。在训练的时候, 我们随机忽略掉一些神经元和神经联结 , 是这个神经网络变得”不完整”. 用一个不完整的神经网络训练一次.到第二次再随机忽略另一些, 变成另一个不完整的神经网络. 有了这些随机 drop 掉的规则, 我们可以想象其实每次训练的时候, 我们都让每一次预测结果都不会依赖于其中某部分特定的神经元. 像l1, l2正规化一样, 过度依赖的 W , 也就是训练参数的数值会很大, l1, l2会惩罚这些大的 参数. Dropout 的做法是从根本上让神经网络没机会过度依赖.

 

过拟合扩展阅读

1.泛化能力

机器学习的主要挑战是我们的算法必须能够在先前未观测的新输入上表现良好，而不只是在训练集上表现良好。在先前未观测到的输入上表现良好的能力被称为 泛化（ generalization）

2.数据噪音

就是杂七杂八的数据，没反应数据的特征、甚至干扰数据特征的数据。

有噪音时，更复杂的模型会尽量去覆盖噪音点，即对数据过拟合！这样，即使训练误差很小（接近于零），由于没有描绘真实的数据趋势，测试误差反而会更大。即噪音严重误导了我们的假设