模型评估与选择--评估方法

        通常，我们通过实验测试来对学习器的泛化误差进行评估并进而做出选择，为此我们需要一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。需要注意的是测试集应该尽量与训练集互斥，即测试样本尽量不在训练集上出现、未在训练过程中使用。

一、留出法

        “留出法”直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T，即D = S ∪ T, S ∩ T = ∅。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。

        需要注意的是，训练集/测试集的划分要尽可能保持数据分布的一致性，避免以你数据划分过程中引入额外的偏差而对最终结果产生影响，例如在分类任务中至少要保持样本的类别比例相似。单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机换分、重复进行实验评估后取平均值作为留出法的评估结果。

二、交叉验证法

        先将数据集D划分为K个大小相似的互斥子集，每个子集都尽可能的保持数据分布的一致性，即从D中通过分层采样得到。然后每次用看K - 1个子集的并集作为训练集，余下的那个子集作为测试集；这样可以进行K次训练，最后返回的是这K个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决与K的值，为强调这一点，通常爸交叉验证法称为“k折交叉验证”。K折交叉验证通常要随机使用不同的划分重复P次，最终的评估结果是这P次K折交叉验证结果的均值。

三、自助法

       自助法，不会因为训练样本规模不同而导致的估计偏差，也不会想留一法计算复杂度过高。它是以自助采样法为基础。给定包含m个样本的数据集D，我们对他进行采样产生数据集d；每次随机从D中挑选个样本，将其拷贝在d中，然后再将该样本放回初始数据集D中，使得该样本在下次采样是仍有可能被采到；在个过程重复执行m次后，我们就得到了包含m个样本的数据集d，这是自助采样的结果。显然，D中有一部分样本会在d中多次出现，而另一部分样本不会出现，可以做一个简单的估计，样本在m次采样中始终不被采到的概率是（1 - 1/m)^m，去极限得到 约为0.368。然后将d作为训练集，D\d作为测试集；这样，实际评估的模型与期望评估的模型都使用m个训练样本，而我们仍有数据总量约为1/3的、没在训练集中出现的样本用于测试，这样的测试结果，也称为“外包估计”

        自助法在数据集较小、难以有效划分训练/测试集时很有用；此外，自助法能从初始数据集中国产生较多个不同的训练集，这对集成学习等方法有很大的好处。在初始数据量足够时，流出法和交叉验证法更常用一些。

四、调参与最终模型

        大多数学习算法都有些参数需要设定，参数配置不同，学得模型的性能往往有显著差别，因此，在进行模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”。

        机器学习常涉及两类参数：一类是算法的参数，也称“超参数”，数目通常在10以内；另一类是模型的参数，数目可能很多，如在深度学习模型。