问题建模之交叉验证

在离线环节，需要对模型进行评估，根据评估指标选择最佳模型。这就需要交叉验证。
下面介绍几种常用的交叉验证方法。

一、留出法

留出法非常简单，就是将数据集划分为训练集合测试集，它甚至不能看做是一种交叉验证，因为它并没有交叉的操作。
这种方法的缺点是：
1、划分测试集数据量对结论有影响。测试集数据量小，模型可信度不高；训练集数据量小，模型效果可能不够好。通常的做法是，2 /3 数据作为训练集，1 /3 数据作为测试集。
2、划分哪些样本作为测试集可能会导致数据分布发生变化，进而影响实验结论。

针对上述缺点，我们会进行多次留出法实验，每次随机划分，最终将多次得到的实验结论进行平均。

另外实际工作中有一种普遍的应用场景广泛使用留出法：数据有明显的时间序列因素，即线上数据的时间都在离线数据集之后，这种情况下应该根据时间对离线数据集划分训练集和测试集，使测试集时间分布在训练集时间之后。
比如，在2017 年6 月初需要训练模型，可以采用2017 年1 月到2017 年4月的数据作为训练集，2017年5月的数据作为测试集。

二、K 折交叉验证

K折交叉验证就是将数据集D 划分成K份互斥数据集，一般是平均分配使每份数据量接近并且数据分布尽可能一致。每次用一份数据测试，其余K-1份数据训练，需要迭代K轮得到K个模型；最后再将K份测试结果汇总到一起评估一个离线指标。

K折交叉验证的稳定性与K取值有很大关系。K值太小实验稳定性依然偏低，K值太大又可能导致实验成本高，K最常用的取值是5和10 。

相比留出法，K折交叉验证更为复杂