机器学习——模型评估和选择

第二章  模型评估和选择

 基本概念：

1、过拟合（过配）：将训练样本自身的一些特点当作了所有潜在样本都具有的一般特性，导致泛化性能下载。

2、欠拟合（欠配）：无法从训练样本中学习到足够量的所有潜在样本都具有的一般特性。

3、误差：学习器的实际输出与样本的真实输出之间的差异称为误差。

训练误差：学习器在训练集上的误差称为训练误差或经验误差。

泛化误差：在新样本上的误差称为泛化误差。

4、学习能力的强弱：学习能力是否过于强大是由学习算法和数据内涵共同决定的。

如何进行模型评估与选择

1、理想方案：对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。

不适合：无法直接获得泛化误差，而训练误差又由于过拟合现象的存在而不适合作为标准。

2、采取的方案：通过给出的数据集D，通过对D进行适当的处理，从中产生训练集S和测试集T,使用测试集来测试学习器对新样本的鉴别能力，然后以测试集上的测试误差作为泛化误差的近似。

  注意：训练/测试的划分要尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。另外，即便在给定训练/测试的样本比例后，仍然存在许多中划分方式对初试数据集D进行分割。

 常见模型评估方法：

1、留出法：直接将原始数据集D划分为互斥的两个集合，分别作为训练集和测试集。

2、交叉验证法：先将数据集D划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性。即从D中通过分层采样得到。然后每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集。这样可以获得k组训练/测试集，从而可以进行k次训练和测试，最终返回的是这k的测试结果的均值。

3、自助法：每次随机从D中挑选一个样本，将其拷贝放入D’中，然后再将该样本放回初试的数据集D中，使得该样本在下次采样时仍有可能被采到，这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’，然后将D’用作训练集，用D\D’作为测试集。

缺点：自助法产生的数据集改变了初试数据集的分布，这会引入估计偏差。

 性能度量：

1、性能度量：用于衡量模型泛化能力的评价标准。

2、回归任务最常用的是均方误差

3、分类任务中最常用的两种性能度量，

错误率：分类错误的样本数占样本总数的比例

精度：分类正确的样本数占样本总数的比例

查准率：

查全率：

F1：

ROC与AUC

代价敏感错误率与代价曲线

比较检验

偏差与方差

偏差与方差分解试图对学习算法的期望泛化错误率进行拆解。是解释学习算法泛化性能的一种重要工具。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且方差较小，即使得数据扰动产生的影响小。

1、偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。

2、方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。噪声则表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。