2021-08-17

2.1 经验误差与过拟合

【误差】把模型的实际预测输出与样本的真实输出之间的差异，称为误差。
【训练误差/经验误差】模型在训练集上的误差称为训练误差/经验误差。
【泛化误差】模型在新样本上的误差称为泛化误差。

【过拟合】当模型把训练器样本学得“太好了”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中成为“过拟合”。
【欠拟合】与过拟合相对，指对训练样本的一般性质尚未学好。

2.2 评估方法

通常，我们可以通过实验测试来对模型的泛化误差进行评估并进而做出选择，为此，需使用一个“测试集”来测试模型对新样本的判别能力，然后以测试集上的“测试误差”作为“泛化误差”的近似。

2.2.1 留出法
2.2.2 交叉验证法
2.2.3 自助法

2.3 性能度量

回归任务最常用的性能度量——均方误差

2.3.1 错误率与精度——分类任务

2.3.2 查准率、查全率与F1