在使用 K-近邻算法之前,最好要先确定最优的 k 值(近邻点的数目)是多少,这需要分别测试不同 k 值下 KNN 算法的准确率,然后再使用交叉验证方法进行验证。
# 导入必要的库
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split #数据分割模块
from sklearn.model_selection import cross_val_score #交叉验证模块
from sklearn.datasets import load_iris
# 加载模型
iris=load_iris()
X=iris['data']
y=iris['target']
X_train,X_test,Y_train,Y_test=train_test_split(X,y,test_size=0.16)
# 测试准确率
k_range = range(1, 15)
k_error = [] #保存预测错误率
for k in k_range: #循环,k 取值为 1~14,查看 KNN 分类的预测准确率
knn = KNeighborsClassifier(n_neighbors=k)
scores = cross_val_score(knn, X, y, cv=5, scoring='accuracy')
#cv 参数决定数据集划分比例,这里是按照 5:1 划分训练集和测试集
k_error.append(1 - scores.mean()) #把每次的错误率添加到数组中
# 结果可视化
plt.plot(k_range, k_error)
plt.xlabel('Value of K for KNN')
plt.ylabel('Error')
plt.show()
结果可知,k 值取 6、7、10、11、12 时最合适