交叉验证

1. 验证集

在使用一个机器学习模型时，通常有一些参数需要设置，比如：

• KNN中的 k <script id="MathJax-Element-293" type="math/tex">k</script>，距离函数；
• SVM算法中的(C, gamma)；
• GBDT中的迭代次数，树的深度；

这些参数称为超参数（hyperparameters），好的参数可以极大提高算法的预测性能。选择合适的模型参数过程称为模型选择（model selection）。那么如何选择这些参数呢？在模型学习过程中，通常做法是将数据分为训练集和测试集，其中训练集用来训练模型，测试集用来预测模型在未知数据上的预测性能。需要注意的是，绝对不能用测试集来调整这些超参数。

用测试集来调整参数的危害之一是，模型可能在测试集上取得较好地预测性能，然而当我们实际部署模型时，却发现性能很差。实际上，模型对测试集产生了过拟合。换种思路看这个问题的话，若我们使用测试集调整参数，实际上我们已经将测试集当做训练集来使用，这样模型在看的见的数据上取得不错的性能，当部署模型到实际应用时，模型对于没见过的数据预测性能很差，也就是说模型泛化能力很弱。

正确的做法是在整个过程中，测试集只能被使用一次，而且是在最后一步。那么怎么样调整这些参数呢，可以将训练集分为两部分，其中数据多的部分用来训练模型，数据少的部分，用来调整参数，这部分也称为验证集。

2. 交叉验证

当我们用来训练模型的数据规模（包括训练集和验证集）不大时，将其中部分数据划分为验证集用来调整参数有些浪费，增加了模型过拟合的可能性。这时可以采用K重交叉验证的办法。

K重交叉验证相比把数据集分为(test, validation, train sets)的做法可以充分利用所有的