【深度学习笔记】过拟合与欠拟合

过拟合简答来说即模型在训练集上错误率较低，但在未知数据（包括测试集）上错误率很高。

欠拟合简单来说是模型不能很好的拟合训练集，在训练集上就已经错误率较高。

模型复杂度是影响拟合的一个因素。模型复杂度较低就会出现欠拟合的现象。模型复杂度较高，导致与训练集拟合非常好，模型参数训练出来是十分适合训练集的，可能出现过拟合的现象。

影响欠拟合和过拟合的另⼀个重要因素是训练数据集的大小。⼀般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集⾥样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大⼀些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。