动手学习深度学习-欠拟合&过拟合

一. 模型选择

我们的目标是发现某些模式， 这些模式捕捉到了我们训练集潜在总体的规律。 如果成功做到了这点，即使是对以前从未遇到过的个体， 模型也可以成功地评估风险。 如何发现可以泛化的模式是机器学习的根本问题。

二. 欠拟合&过拟合

三. 训练误差与泛化误差

四. 模型复杂性

五. 数据集

验证数据集和训练数据集一定不能混合

关系：

总结：

1. 欠拟合是指模型无法继续减少训练误差。过拟合是指训练误差远小于验证误差。
2. 由于不能基于训练误差来估计泛化误差，因此简单地最小化训练误差并不一定意味着泛化误差的减小。机器学习模型需要注意防止过拟合，即防止泛化误差过大。
3. 验证集可以用于模型选择，但不能过于随意地使用它。
4. 我们应该选择一个复杂度适当的模型，避免使用数量不足的训练样本。