tensorflow实战——dropout防止过拟合验证

了解dropout那得先了解什么是overfitting（过拟合），underfitting（欠拟合）

overfitting就是指Ein(在训练集上的错误率)变小，Eout(在整个数据集上的错误率)变大的过程

underfitting是指Ein和Eout都变大的过程

使用简单的模型去拟合复杂数据时，会导致模型很难拟合数据的真实分布，这时模型便欠拟合了，或者说有很大的 Bias，Bias 即为模型的期望输出与其真实输出之间的差异；有时为了得到比较精确的模型而过度拟合训练数据，或者模型复杂度过高时，可能连训练数据的噪音也拟合了，导致模型在训练集上效果非常好，但泛化性能却很差，这时模型便过拟合了，或者说有很大的 Variance，这时模型在不同训练集上得到的模型波动比较大，Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异。

• 最左边为欠拟合，我们可以发现线条无法很好的拟合数据点的分布；
• 最右边为过拟合，我们可以发现线条可以很好的拟合数据点的分布，但好的有些过分了，以至于该拟合算法不具