《机器学习》学习笔记二

模型评估与选择

2.1经验误差与过拟合

---

• 错误率(error rate)：分类错误的样本数占样本总数的比例。$E=a/m$
• 精度(accuracy)：$1-a/m$即$精度＝1-错误率$
• 误差(error)：学习器的实际预测输出与样本的真实输出之间的差异。
  
  • 训练误差(training error)/经验误差(empirical error)：在训练集上的误差。
  • 泛化误差(generalization error)：在新样本上的误差。
• 过拟合(overfitting)：学习器把训练样本学的太好了，把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化能力下降。
• 欠拟合(underfitting)：对训练样本的一般性质尚未学好。

2.2评估方法

---

通常，我们可通过实验测试来对学习器的泛化误差进行评估进而做出选择。为此需要使用一个测试集(testing set)来测试学习器对新样本的判别能力，然后以测试集上的测试误差(testing error)作为泛化误差的近似。

下面介绍几种产生训练集$S$和测试集$T$的方法

2.2.1留出法(hold-out)

留出法直接将数据集$D$划分为两个互斥的集合。其中一个作为训练集$S$，另一个作为测试集$T$，即