初识机器学习之模型评估(2):交叉验证

　　交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般采用留出法，即随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集，最终决定使用哪个模型以及对应参数。不再做过多的训练。

　　根据切分的方法不同，交叉验证分为下面三种：　　　

　　第一种是简单交叉验证，所谓的简单，是和其他交叉验证方法相对而言的。首先，我们随机的将样本数据分为两部分（7:3或8:2），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再重新随机选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。　

　　第二种是k折交叉验证（S-Folder Cross Validation），较为常用的一种。其原理是：先将数据集D划分为k个大小相似的互斥子集，即D=D1 U D2 U...Dk，Di交Dj为空集(i!=j)。每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次使用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可以获得k组训练/测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。显然，交叉验证评估结果的稳定性和保真性在很大程度上取决于k的取值，为强调这一点，通常把交叉验证称为k折交叉验证。k最常用的取值是10，此时称为10折交叉验证。下图给出了10折交叉验证的示意图。

 　

　　第三种是留一交叉验证（Leave-one-out Cross Validation），它是第二种情况的特例，此时k等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。

　　通过反复的交叉验证，用损失函数来度量得到的模型的好坏，最终我们可以得到一个较好的模型。那这三种情况，到底我们应该选择哪一种方法呢？一句话总结，如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以了。否则就用S折交叉验证。在样本量少的时候，使用S折交叉验证的特例留一交叉验证。

　　此外还有一种比较特殊的交叉验证方式，也是用于样本量少的时候。叫做自助法(bootstrapping)。比如我们有m个样本（m较小）的数据集D，每次在这m个样本中随机采集一个样本，放入训练集，采样完后把样本放回。这样重复采集m次，我们得到m个样本组成的训练集。当然，这m个样本中很有可能有重复的样本数据。同时，用原始的m个样本做测试集。这样接着进行交叉验证。

　　自助法在数据集较小、难以有效划分训练/测试集时很有用；此外，自助法能从初始数据集中产生多个不同的训练集，这对集成学习等方法有很大好处。然而训练集有重复数据，这会改变数据的分布，因而训练结果会有估计偏差，因此，此种方法不是很常用，除非数据量真的很少，比如小于20个。

　　至于在Python或R中针对一个模型如何做交叉验证，在以后的文章中会讲解。

 

 参考文献：

1.《机器学习》周志华

2.《统计学习方法》

 

转载于:https://www.cnblogs.com/aloiswei/p/5934266.html