机器学习（西瓜书）笔记第二章 模型评估与选择

二、模型评估与选择

2.1经验误差与过拟合

错误率：分类错误的样本数占总样本数的比例。

精度：精度=1-错误率。

误差（error）：学习器实际的预测输出与样本的真实输出之间差异。在训练集上的误差称为“训练误差”（training error）或“经验误差”（empirical error），在测试集上的误差称为“泛化误差”（generalization error）。我们的目的是得到泛化误差小的学习器。

过拟合（overfitting）：因为过度训练，导致训练样本的一些自身特点被当做是所有样本的普遍规律，导致泛化能力下降。

欠拟合（underfitting）：对所有样本的普遍规律没有学好。

欠拟合比较容易克服，在神经网络中表现为增加训练层数。过拟合是无法彻底避免的，我们所能做的只是缓解。

在解决某一个问题时，可能会有很多解决的方法，我们首先一定会想到选择泛化能力最好的那个模型，但是我们事先却不知道这个模型的泛化误差是多少，那么我们怎么样来对一个模型进行评估呢？

2.2评估方法

        用测试集（testing set）来测试学习器对新样本的判别能力，我们用测试误差（testing error）来对泛化误差进行估计。测试集的数据不能再训练集中出现，下面介绍几种从数据集D中产生训练集S和测试集T的方法。

2.2.1留出法

        “留出法”（hold-out）就是将数据集D分成两个互斥的数据集，一个作为训练集S，一个作为测试集