交叉验证python代码_python机器学习,交叉验证

这是个正常的knn训练

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=4)

knn = KNeighborsClassifier(n_neighbors=5)

knn.fit(X_train,y_train)

y_pred = knn.predict(X_test)

print(knn.score(X_test,y_test))

结果：

0.973684210526以上的代码意思是加载一个数据集,然后用train_test_split方法进行随机划分训练集和测试集

然后用knn算法进行训练得出模型的得分

以上方法有一个不足之处就是没有充分利用数据集,而且模型的效果根样本的划分有很大的关系,因此模型的好坏带了随机性.

交叉验证概述

将原始数据分成K组(一般是均分),将每个子集数据分别做一次验证集,其余的K-1组子集数据作为训练集,这样会得到K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标.K一般大于等于2,实际操作时一般从3开始取,只有在原始数据集合数据量小的时候才会尝试取2. 而K-CV 的实验共需要建立 k 个models，并计算 k 次 test sets 的平均辨识率。在实作上，k 要够大才能使各回合中的 训练样本数够多，一般而言 k=10 (作为一个经验参数)算是相当足够了。

改进上面的代码

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

from sklearn.cross_validation import cross_val_score

knn = KNeighborsClassifier(n_neighbors=5)

#会随机的分成5份训练集和测试集

scores = cross_val_score(knn,X,y,cv=5,scoring='accuracy')

print(scores)

print(scores.mean())

几组训练集的训练得分结果

[ 0.96666667 , 1. , 0.93333333 , 0.96666667 , 1. ]

用一个平均得分来衡量

0.973333333333

利用cross_val_score调整参数

在上面的例子中用knn模型来训练数据,模型中n_neighbors的参数我们写了n_neighbors=5,但是事实上我们不知道等于5是不是最好的选择,在这种情况下面我们可以用for循环结合交叉验证cross_val_score,选择最好的参数方法,如下面代码

from sklearn.cross_validation import cross_val_score

import matplotlib.pyplot as plt

from sklearn.datasets import load_iris

from sklearn.cross_validation import train_test_split

from sklearn.neighbors import KNeighborsClassifier

iris = load_iris()

X = iris.data

y = iris.target

k_range = range(1,31)

k_scorews = []

for k in k_range:

knn = KNeighborsClassifier(n_neighbors=k)

scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')

loss = -cross_val_score(knn,X,y,cv=10,scoring='mean_squared_error')

k_scorews.append(scores.mean())

plt.plot(k_range,k_scorews)

plt.xlabel('Value of K for KNN')

plt.ylabel('Cross-Validated Accuracy')

plt.show()

结果如下

可以看出n_neighbors在13到20的区间得分是最高的,因此我们可以调整参数为

KNeighborsClassifier(n_neighbors=13)