过拟合问题
- 为了得到一致假设而使假设变得过度复杂称为过拟合(overfitting),过拟合表现在训练好的模型在训练集上效果很好,但是在测试集上效果差。
出现原因?
- 训练集的数量级和模型的复杂度不匹配。训练集的数量要小于模型的复杂度;
- 训练集和测试集特征分布不一致;
- 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;
- 权值学习迭代次数足够多(overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。
怎么解决?
-
数据集扩增(Data Augmentation)
增加训练数据样本。训练集越多,过拟合的概率越小。
-
数据处理-清洗数据
丢弃一些不能帮助正确预测的特性。纠正错误的label,或者删除错误数据。
-
dropout方法
通过修改隐藏层神经元的个数来防止过拟合。
-
early stepping
是一种迭代次数截断的方法来防止过拟合。即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。
-
正则化(Regularization) :L1和L2
保留所有特性,但是减少参数的大小。
L1和L2是正则化项,又叫做罚项,是为了限制模型的参数,防止模型过拟合而加载损失函数后面的一项。
拓展
在 MLlib 中,标准的最小二乘回归不使用正则化。正则化是用于解决过拟合问题的。但是应
用到错误预测值的损失函数会将错误做平方,从而放大损失。这也意味着最小二乘回归对数据中的异常点和过拟合非常敏感。因此对于分类器,我们通常在实际中必须应用一定程度的正则化。
-
线性回归在应用 L2 正则化时通常称为岭回归( ridge regression ),应用 L1 正则化时称为 lasso
( least absolute shrinkage and selection operator )。 -
当数据集不大或样本很少时,模型过拟合的可能性很大。因此,十分建议使用如 L1 、 L2 或
elastic net regularization 这样的正则表达式。