从第一章中我们可以知道,具体的问题需要选择具体的算法和归纳偏好。那么如何来评价不同算法和模型的好坏呢,第二章就对这个问题做出了解答。从第二章中,我们可以看到对于模型评估的一套完整体系。
2.1 经验误差与过拟合
错误率:分类错误的样本数占样本总数的比例。
精度:(1-错误率),即分类正确的样本数占样本总数的比例。
训练误差(经验误差):学习器在训练集上的误差。
泛化误差:在新样本上的误差。这个误差越小,模型的效果越好。
过拟合:学习器对训练样本学习过度,从而在新数据上表现差,没法适应新的数据样本。
欠拟合:对训练样本中的一般规律都没学习好。
2.2 评估方法(数据集划分方法)
我们知道只有一个数据集,如何同时利用这个数据进行模型训练和数据评估呢。很明显,测试集训练集应该尽量重合,否则测试集计算出的误差不能够代表学习器的泛化能力。那么我们可以想到,要对数据集进行划分,来分别进行训练和测试。