《机器学习》 模型评估与选择

    从第一章中我们可以知道，具体的问题需要选择具体的算法和归纳偏好。那么如何来评价不同算法和模型的好坏呢，第二章就对这个问题做出了解答。从第二章中，我们可以看到对于模型评估的一套完整体系。

---

2.1 经验误差与过拟合

    错误率：分类错误的样本数占样本总数的比例。

    精度：(1-错误率)，即分类正确的样本数占样本总数的比例。

    训练误差（经验误差）：学习器在训练集上的误差。

    泛化误差：在新样本上的误差。这个误差越小，模型的效果越好。

    过拟合：学习器对训练样本学习过度，从而在新数据上表现差，没法适应新的数据样本。

    欠拟合：对训练样本中的一般规律都没学习好。

2.2 评估方法（数据集划分方法）

       我们知道只有一个数据集，如何同时利用这个数据进行模型训练和数据评估呢。很明显，测试集训练集应该尽量重合，否则测试集计算出的误差不能够代表学习器的泛化能力。那么我们可以想到，要对数据集进行划分，来分别进行训练和测试。

2.2.1 留出法