动手学深度学习03：过拟合与欠拟合区别和解决方案

问题：拿到一个图，不怎么怎么区分是过拟合还是欠拟合
图1：

图2：

图3：

1.观察图：
图1：train loss>>test loss 训练误差（10^3）较大
图2：test loss >> train loss 训练误差（10^1）较小
图3: test loss = train loss

2.得出：
图1 模型训练还没得到较好结果，因此欠拟合
图2 模型训练取得较好结果，但是模型测试结果不好，因此过拟合
图3 训练和测试同分布，正常

影响拟合的因素：模型复杂度和训练数据集大小

给定数据集，模型复杂度与误差之间的关系：

训练数据集大小
一般来说，
如果训练数据集中样本数过少，特别是比模型参数数量（按元素计）更少时，过拟合更容易发生。此外，泛化误差不会随训练数据集里样本数量增加而增大。
因此，在计算资源允许的范围之内，我们通常希望训练数据集大一些，特别是在模型复杂度较高时，例如层数较多的深度学习模型。

模型复杂度高，容易出现过拟合，解决办法：权重衰减
权重衰减等价于 L2 范数正则化（regularization）。
为模型损失函数添加惩罚项使学出的模型参数值较小

红框即为L2范式正则化