【机器学习 周志华】2. 模型评估与选择

2.1 经验误差与过拟合

    错误率：分类错误的样本数占样本总数的比例

    精度：1-错误率

    误差：学习器的实际预测输出与样本真实输出之间的差异

    训练误差（经验误差）：学习器在训练集上的误差

    泛化误差：学习器在新样本上的误差

    过拟合（过配）：学习器对训练样本学习的太好了，掌握了训练集的不太一般的特点，以至于在应用到新样本上的时候，泛化误差太大，导致泛化性能下降。是机器学习面临的关键障碍。

    欠拟合（欠配）：与过拟合相对，表示对训练样本的一般性质尚未学好

2.2 评估方法

    测试误差：寻找一个测试集，使学习器在测试集上产生的误差作为测试误差。然后以测试误差作为泛化误差的近似。测试集应该尽量与训练集互斥。

    对于包含样例少的数据集D，有以下几种方法产生测试集和训练集。

    2.2.1 留出法

        hold-out留出法直接将D分为互斥的两个集合作为训练集S和测试集T。

        训练集与测试集相差太大会使训练结果或者评估结果不理想。常见的做法是将2/3~4/5的样本用于训练。一般而言，测试集最少应包括30个样例。

    2.2.2 交叉验证法

        cross validation(常用)先将数据集划分为k个大小相似的互斥子集。每次用k-1个子集的并集作为训练集，剩下的一个子集作为测试集。这样就可以进行k次训练和测试。最终返回的是这k次测试结果的均值。

        交叉验证法可以称为k折交叉验证。k的取值通常为10，5，20.

        使用不同的划分方式取得k个子集，重复p次实验-p次k折交叉验证。

        留一法，D中包含m个样本，使k=m。这样得到的结果与用D训练出的模型很相似。

    2.2.3 自助法

        以自助采样法（bootstrap sampling）为基础。

        给定包含m个样本的数据集D，我们对它进行采样产生数据集D'：每次随机从D中挑选一个样本，将其拷贝放入D'，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D'。

        经过计算。可知有36.8%的样本未出现在采样数据集D'中。于是我们可以用D'作训练集，D\D'作测试集。这样的测试结果亦称为“外包估计”。

        自助法适用于初始数据集较小的情况。

    2.2.4 调参与最终模型