【sklearn第二十五讲】交叉验证

机器学习训练营——机器学习爱好者的自由交流空间（入群联系qq：2279055353）

学习一个预测函数的参数，在相同的数据集上检验它，这是一个方法学的错误。一个模型能够重复已知的样本标签，但是不能预测任何有用的未知数据，这种现象称过度拟合(overfitting). 为了避免过度拟合，普遍采用的办法是，当做一个有监督的机器学习试验时，拿出一部分数据作为检验集X_test, y_test.

在scikit-learn里，使用train_test_split函数实现训练集和检验集的随机分割。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import datasets
from sklearn import svm

iris = datasets.load_iris()
iris.data.shape, iris.target.shape

现在，我们能快速地从一个训练集抽样，而拿出40%的数据检验/评价我们的分类器。

X_train, X_test, y_train, y_test = train_test_split(
     iris.data, iris.target, test_size=0.4, random_state=0)
X_train.shape, y_train.shape
X_test.shape, y_test.shape
clf = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
clf.score(X_test, y_test)

当评价估计量的不同情况时，例如，对于一个SVM的超参数C, 仍然有在训练集上过度拟合的风险，因为参数能被微调，直至估计量达到最优。这种情况，检验集的信息能“漏进”模型，评价测度不再报告一般性的表现。为了解决这个问题，拿出数据集的另外一部分作为评价集。训练继续在训练集上进行，在评价集上做评价，当试验看起来成功的时候，最终的评价在检验集上做。然而，分割数据为三个集，我们减少了学习模型的样本数，结果依赖对评价集、检验集的随机选择。

对于这个问题的解决办法是交叉验证程序(cross-validation, CV). 一个检验集仍然作为最终的评价，但不再需要评价集了。在基本的k-fold CV里，训练集被分割为k个子集，在每一个子集上做下面的程序：

• 在其它k-1个子集组成的训练集上训练模型。

• 在数据的剩余部分验证结果模型，即，子集作为一个检验集，在它上计算表现测度，例如准确率。

k-fold CV报告的表现测度是这些值的平均值。这个方法计算很费时，但没有浪费太多的数据，当样本数很少时，它是一个不错的选择。

交叉验证测度

使用交叉验证最简单的方法是调用cross_val_score函数。下面的例子演示怎样通过分割数据，拟合一个线性核支持向量机模型，计算5个连续次的分数，每次有不同的分割。

from sklearn.model