确定最优的 k 值

在使用 K-近邻算法之前，最好要先确定最优的 k 值（近邻点的数目）是多少，这需要分别测试不同 k 值下 KNN 算法的准确率，然后再使用交叉验证方法进行验证。

# 导入必要的库
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier 
from sklearn.model_selection import train_test_split  #数据分割模块
from sklearn.model_selection import cross_val_score  #交叉验证模块
from sklearn.datasets import load_iris

# 加载模型
iris=load_iris()
X=iris['data']
y=iris['target']
X_train,X_test,Y_train,Y_test=train_test_split(X,y,test_size=0.16)

# 测试准确率
k_range = range(1, 15)
k_error = []  #保存预测错误率
for k in k_range:  #循环，k 取值为 1～14，查看 KNN 分类的预测准确率
    knn = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn, X, y, cv=5, scoring='accuracy')
    #cv 参数决定数据集划分比例，这里是按照 5:1 划分训练集和测试集
    k_error.append(1 - scores.mean())  #把每次的错误率添加到数组中

# 结果可视化
plt.plot(k_range, k_error)
plt.xlabel('Value of K for KNN')
plt.ylabel('Error')
plt.show()

结果可知，k 值取 6、7、10、11、12 时最合适