机器学习入门学习笔记（一）模型的评估和选择

一、一些基本概念

错误率(error rate)：分类错误的样本数占样本总数的比例。在m个样本中有a个样本分类错误，则错误率E=a/m。

精度(accuracy) = 1 - 错误率 = 1-a/m。

训练误差(training error)或经验误差(empirical error)：学习器的实际预测输出与样本的真实输出之间的差异。

泛化误差(generalization error)：在新样本上的误差。

我们希望得到的是在新样本上能表现得很好的学习器，或者说是得到泛化误差小的学习器。然而，我们事先并不知道新样本是什么样，实际能做的是努力使训练误差最小化。

但是，在很多情况下，我们可以学得一个训练误差很小、在训练集上表现很好的学习器，例如甚至对所有训练样本都分类正确，即分类错误率为零，分类精度为100%，但这是不是我们想要的学习器，这样的学习器在多数情况下都不好。

两个现象

过拟合(overfitting)：当学习器把训练样本学得“太好”了的时候，可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。（特性当成一般性）

欠拟合(underfitting)：与“过拟合”相对，指对训练样本的一般性质尚未学好。

解决方法：

欠拟合比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等。

过拟合是无法彻底避免的，我们所能做的只是“缓解”，或者说减小其风险。过拟合是机器学习面临的关键障碍，各类学习算法都必然带有些针对过拟合的措施。

 

“模型选择”（model selection）问题：理想的解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。但是我们一般无法直接获得泛化误差，而训练误差又由于过拟合现象的存在而不适合作为标准，那么，在现实中如何进行模型评估与选择呢？

二、评估方法（数据集划分）

对学习器的泛化误差进行评估并进而做出选择，我们需使用一个“测试集”（testing set）来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”（testing error）作为泛化误差的近似。

对测试集（testing set）的选择需要注意：从样本真实分布中独立同分布采样而得，测试集应该尽可能与训练集互斥，即测试样本尽量不在训练集中出现、未在训练过程中使用过。

一个包含m个样例的数据集D={ (x1, y1),(x2,y2),...,(xm, ym)}既要训练，又要测试，怎样才能做到呢？

答案是：通过对D进行适当的处理，从中产生出训练集S和测试集T。以下介绍三种数据集的划分方法：

1、留出法(hold-out)

直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即(D = S∪T,S∩T=∅)。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

问题一：训练/测试集划分的数据分布不一致性问题。会引入额外的偏差而对最终结果产生影响。

分层采样(stratified samplin