交叉验证在sklearn中的实现

转载出处：http://blog.sina.com.cn/s/blog_7103b28a0102w70h.html

前面已经简单介绍了交叉验证，这次主要说明sklearn中关于CV的相关实现。

​先说一个sklearn中的很好用的功能：对一个数据集进行随机划分，分别作为训练集和测试集。使用的是cross_validation.train_test_split函数，使用示例如下：

​1 实现CV最简单的方法是cross_validation.cross_val_score函数，该函数接受某个estimator，数据集，对应的类标号，k-fold的数目，返回k-fold个score，对应每次的评价分数。

​上图的例子中，最终得到五个准确率。

cross_val_score中的参数cv，既可以给定它一个整数，表示数据集被划分的份数（此时采取的是KFold或者StratifiedKFold策略，后面会说明）；也可以给定它一个CV迭代策略生成器，指定不同的CV方法。例如：

​上图中的例子，首先通过cross_validation.ShuffleSplit生成一个CV迭代策略生成器cv，然后将cv以参数的形式传递到cross_val_score中。

除了cross_val_score，sklearn中还提供一个cross_val_predict，它的功能就是返回每条样本作为CV中的测试集时，对应的模型对于该样本的预测结果。这就要求使用的CV策略能保证每一条样本都有机会作为测试数据，否则会报异常。使用示例如下：​

​2 几种不同的CV策略生成器

前面提到，cross_val_score中的参数cv可以接受不同的CV策略生成器作为参数，以此使用不同的CV算法。这里介绍几种sklearn中的CV策略生成器函数

2.1 K-fold

最基础的CV算法，也是默认采用的CV策略​。主要的参数包括两个，一个是样本数目，一个是k-fold要划分的份数。

​2.2 Stratified k-fold

​与k-fold类似，将数据集划分成k份，不同点在于，划分的k份中，每一份内各个类别数据的比例和原始数据集中各个类别的比例相同。

​2.3 Leave-one-out

​参数只有一个，即样本数目。

​2.4 Leave-P-out

每次从整体样本中去除p条样本作为测试集，如果共有n条样本数据，那么会生成

个训练集/测试集对。和LOO，KFold不同，这种策略中p个样本中会有重叠。

2.5 Leave-one-label-out

​​​这种策略划分样本时，会根据第三方提供的整数型样本类标号进行划分。每次划分数据集时，取出某个属于某个类标号的样本作为测试集，剩余的作为训练集。

​2.6 Leave-P-Label-Out

与Leave-One-Label-Out类似，但这种策略每次取p种类标号的数据作为测试集，其余作为训练集。