过拟合、欠拟合学习笔记

探究模型训练中经常出现的两类典型问题：
一类是欠拟合，另一类是过拟合.
1.欠拟合
模型无法得到较低的训练误差，将这一现象成为欠拟合.
2.过拟合
模型的训练误差远小于它在测试集上的误差，称这一现象为过拟合.
可能导致这两种拟合问题的因素有很多，比如模型复杂度和训练集大小.
模型复杂度
随着模型复杂度增加，训练误差波动降低，平均训练误差降低趋向于0，而测试误差波动上升，平均测试误差先降低后升高。这个现象说明训练误差不能代替测试误差来作为模型选择和评价的手段。随着模型复杂度变化，训练误差与测试误差并不是一个良好的正相关关系，而是呈现较为复杂的非线性关系。
训练数据集大小
影响欠拟合和过拟合的另一个重要因素是训练数据集的大小。一般来说，如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。
参考链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/baH3gDRSElRi-i_NRPBZ5