Cross-validation 交叉验证与训练集测试集划分

由于代码比较简单，直接看代码生成的结果更容易理解代码的功能和作用，所以没有添加更多的说明。
参考官方文档地址：http://scikit-learn.org/stable/modules/cross_validation.html#cross-validation-evaluating-estimator-performance

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import datasets
from sklearn import svm

划分训练集和测试集（train_set,test_set）

iris=datasets.load_iris()
iris.data.shape,iris.target.shape

((150, 4), (150,))

X_train,X_test,y_train,y_test=train_test_split(iris.data,iris.target,test_size=0.4,random_state=0)
X_train.shape,y_train.shape

((90, 4), (90,))

X_test.shape,y_test.shape

((60, 4), (60,))

clf=svm.SVC(kernel='linear',C=1).fit(X_train,y_train)
clf.score(X_test,y_test)

0.96666666666666667

计算交叉验证的指标

from sklearn.model_selection import cross_val_score
clf=svm.SVC(kernel='linear',C=1)
scores=cross_val_score(clf,iris.data,iris.target,cv=5)#5折交叉验证
scores

array([ 0.96666667,  1.        ,  0.96666667,  0.96666667,  1.        ])

#平均值和95%的置信区间可以计算得出
print("Accuary: %0.2f(+/-%0.2f)" % (scores.mean(),scores.std()*2))

Accuary: 0.98(+/-0.03)

#默认情况下，每次CV迭代计算score是估计量的得分方法。可以通过使用评分参数来改变其评分参数：
from sklearn import metrics
scores=cross_val_score(clf,iris.data,iris.target,cv=5,scoring='f1_macro')
scores

array([ 0.96658312,  1.        ,  0.96658312,  0.96658312,  1.        ])

#由于水仙花数据集中的正负样本个数是均衡的，所以准确率和F1值的得分很相似
#也可以通过传递交叉验证迭代器参数，使用其他交叉验证策略,例如:
from sklearn.model_selection import ShuffleSplit
n_samples=iris.data.shape[0]
cv=ShuffleSplit(n_splits=