在同一个训练级上训练除10个不同的模型,然后在数据集上对这十个模型进行测试,得到测试集误差,以此作为模型选择得标准,选择测试误差最小得那个模型。但是凭此一次考试就对模型得好坏进行评价是不合理的,所以接下来介绍交叉验证法。
1、10折交叉验证。首先导入必要的库。
from sklearn.datasets import load_iris
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score
2、加载iris数据集
iris=load_iris()
X=iris.data
y=iris.target
3、建立一个5近邻模型,进行10折交叉验证,既把样本分成10份,每一份都作为测试集,得到10次预测精度。
knn=KNeighborsClassifier(n_neighbors=5)
scores = cross_val_score(knn,X,y,cv=10,scoring='accuracy')
print(scores)
将10次预测精度的平均值打印出来。
print(scores.mean())
4、选择最优的K值,训练不同的K值的K近邻模型,得到10折交叉验证的预测精度
k_range=range(1,31)
k_scores=[]
for k in k_range:
knn=KNeighborsClassifier(n_neighbors=k)
scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy')
k_scores.append(scores.mean())
print(k_scores)
5、最后通过绘制精度随K值变化的图来选择精度最高的K值
k_range=range(1,31)
k_scores=[]
for k in k_range:
knn=KNeighborsClassifier(n_neighbors=k)
scores=cross_val_score(knn,X,y,cv=10,scoring='accuracy')
k_scores.append(scores.mean())
print(k_scores)
plt.plot(k_range,k_scores)
plt.xlabel('The value of the k in KNN')
plt.ylabel('accuracy')
plt.show()