关于KNN算法中超参数选择问题

1.交叉验证(CV)

前提:数据集的划分

数据集可划分两部分：训练集、测试集 比例：8 : 2，7 : 3

训练集(training set) ：用来训练模型（model）的数据集

测试集(testing set)：用来测试模型的数据集

交叉验证是一种数据集的分割方法，将训练集划分为 n 份，其中一份做验证集、其他n-1份做训练集

交叉验证法原理：将数据集划分为 cv=10 份：

1.第一次：把第一份数据做验证集，其他数据做训练

2.第二次：把第二份数据做验证集，其他数据做训练

3.... 以此类推，总共训练10次，评估10次。

4.使用训练集+验证集多次评估模型，取平均值做交叉验证为模型得分

5.若k=5模型得分最好，再使用全部训练集(训练集+验证集) 对k=5模型再训练一边，再使用测试集对k=5模型做评估.

交叉验证法，是划分数据集的一种方法，目的就是为了得到更加准确可信的模型评分。

2.网格搜索(GridSearch)

网格搜索是模型调参的有力工具。寻找最优超参数的工具！ 只需要将若干参数传递给网格搜索对象，它自动帮我们完成不同超参数的组合、模型训练、模型评估，最 终返回一组最优的超参数。

3.网格搜索 + 交叉验证的强力组合(模型选择和调优)  (GridSearchCV)

交叉验证解决模型的数据输入问题(数据集划分)得到更可靠的模型 

网格搜索解决超参数的组合

两个组合再一起形成一个模型参数调优的解决方案

4.代码

#1.导包
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

import pandas as pd


#2. 加载数据
iris_data = load_iris()


#3. 数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris_data.data,iris_data.target,test_size = 0.2,random_state = 22)

#4. 特征预处理:标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

#5. 模型实例化
knn = KNeighborsClassifier()

#6. 网格搜索交叉验证
estimator = GridSearchCV(estimator = knn,param_grid= {'n_neighbors':[3,5,7]},cv= 3)
estimator.fit(x_train,y_train)

print(estimator.best_score_)   #0.975 训练的最好分数
print(estimator.best_params_)  #{'n_neighbors': 5}
print(estimator.cv_results_)   #交叉验证的 详细结果

myret = pd.DataFrame(estimator.cv_results_)
myret.to_csv(path_or_buf = './mygridsearchcv.csv') #导出csv文件

#7. 用测试集评估
print(estimator.score(x_test,y_test))  #0.9333333333333333