了解dropout那得先了解什么是overfitting(过拟合),underfitting(欠拟合)
overfitting就是指Ein(在训练集上的错误率)变小,Eout(在整个数据集上的错误率)变大的过程
underfitting是指Ein和Eout都变大的过程
使用简单的模型去拟合复杂数据时,会导致模型很难拟合数据的真实分布,这时模型便欠拟合了,或者说有很大的 Bias,Bias 即为模型的期望输出与其真实输出之间的差异;有时为了得到比较精确的模型而过度拟合训练数据,或者模型复杂度过高时,可能连训练数据的噪音也拟合了,导致模型在训练集上效果非常好,但泛化性能却很差,这时模型便过拟合了,或者说有很大的 Variance,这时模型在不同训练集上得到的模型波动比较大,Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异。
- 最左边为欠拟合,我们可以发现线条无法很好的拟合数据点的分布;
- 最右边为过拟合,我们可以发现线条可以很好的拟合数据点的分布,但好的有些过分了,以至于该拟合算法不具