机器学习中的评估方法

评估方法

    在实际任务中，我们希望得到的是泛化误差小的学习器，理想的解决方案是对模型的泛化误差进行评估，然后选择泛化误差最小的那个学习器。但是，泛化误差指的是模型在所有新样本上的适用能力，我们无法直接获得泛化误差。
    因此，通常我们采用一个测试集来测试学习器对新样本的判别能力，然后以测试集上的测试误差作为泛化误差的近似。显然：我们选取的测试集应尽可能与训练集互斥，下面用一个小故事来解释why：

    假设老师出了10 道习题供同学们练习，考试时老师又用同样的这10道题作为试题，可能有的童鞋只会做这10 道题却能得高分，很明显：这个考试成绩并不能有效地反映出真实水平。回到我们的问题上来，我们希望得到泛化性能好的模型，好比希望同学们课程学得好并获得了对所学知识"举一反三"的能力；训练样本相当于给同学们练习的习题，测试过程则相当于考试。显然，若测试样本被用作训练了，则得到的将是过于"乐观"的估计结果。

训练集与测试集的划分方法

    如上所述：我们希望用一个测试集的测试误差来作为泛化误差的近似，因此我们需要对初始数据集进行有效划分，划分出互斥的训练集和测试集。

留出法

    将数据集D划分为两个互斥的集合，一个作为训练集S，一个作为测试集T