模型评估与模型参数选择之验证

模型不能过拟合于训练集，否则将不能在测试集上得到最优结果；但是否能直接以测试集上的表现来选择模型参数呢？

答案是否定的。因为这样的模型参数将会是针对某个特定测试集的，得出来的评价标准将会失去其公平性，失去了与其他同类或不同类模型相比较的意义。

因此参数的选择（即调参）必须在一个独立于训练集和测试集的数据集上进行，这样的用于模型调参的数据集被称为开发集或验证集。

然而很多时候我们能得到的数据量非常有限。这个时候我们可以不显式地使用验证集，而是重复使用训练集和测试集，这种方法称为交叉验证。

常用的交叉验证方法有：

1.简单交叉验证。

2.K-重交叉验证。

1。交叉验证

留出法（Holdout cross validation） 按照固定比例将数据集静态的划分为训练集、验证集、测试集。

自组法（bootstrapping） 适合于样本数目较少，有放回的取法

2.k 折交叉验证

k 折交叉验证（k-fold cross validation）：

k 一般取 10

将数据集分为训练集和测试集，将测试集放在一边

将训练集分为 k 份 每次使用 k 份中的 1 份作为验证集，其他全部作为训练集。

通过 k 次训练后，我们得到了 k 个不同的模型。

评估 k 个模型的效果，从中挑选效果最好的超参数

使用最优的超参数，然后将 k 份数据全部作为训练集重新训练模型，得到最终模型