模型评估与选择：经验误差与过拟合、评估方法（留出法、交叉验证法、自助法）

模型评估与选择

经验误差与过拟合

误差（误差期望）：

学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。

学习器在训练集上的误差称为“训练误差”、“经验误差”；在新样本上的误差称为“泛化误差”

过拟合与欠拟合：

过拟合：学习器把训练样本学习得太好，得到的经验误差很小，这时，很可能已经把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降，这种现象称为“过拟合”。

欠拟合：指对训练样本的一般性质尚未学好。

模型选择：

学习算法、参数配置的不同会产生不同的模型

理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。

评估方法

通常，可通过实验测试来对学习器的泛化误差进行评估并进而作出选择。

使用一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。

测试集与训练集尽可能的互斥。---->通过对一个数据集D进行适当的处理，从中产生出训练集和测试集。

留出法

直接将数据集D划分为两个互斥的集合，其中一个作为训练集S，另一个作为测试集T。在S上训练处模型后，用T来评估其测试误差，作为对泛化误差的估计。

注意：训