sklearn之KNN详解+GridSearchCV使用方法

在了解了KNN的基本原理之后，我们需要学习如何在sklearn中调用KNN算法以及如何用GridSearchCV进行调参

首先导入必要的库以及我们所使用的数据集：iris

1 from sklearn.neighbors import KNeighborsClassifier
2 from sklearn import datasets
3 from sklearn.model_selection import GridSearchCV
4 from sklearn.model_selection import train_test_split
5 iris = datasets.load_iris()
6 data = iris.data
7 label = iris.target

由于KNN对极端数据比较敏感，所以一般会对数据进行归一化，此处数据集比较友好就没有归一化了

将整个的数据集分成训练集和测试集，并创建一个KNN分类器对象

1 X_train,X_test,y_train,y_test = train_test_split(data,label,test_size=0.3,random_state=2)
2 knn_clf = KNeighborsClassifier()

由于sklearn中的KNN方法有很多超参数，所以需要调参，这里只介绍常用的超参数：

weights：有两种参数：'uniform'和'distance'，前者表示最原始的不带距离权重的KNN，后者指带有距离权重的KNN，比如说，A到B的距离为1，A到C的距离为2，A到D的距离为4，而且B属于M类，C和D属于N类，此时KNN算法的K如果等于3，则最终会将A判断为N类，但实际上A距离B最近，应该属于M类，故应该使用距离的倒数来表示距离，此时AB距离为1，AC距离为1/2，AD距离为1/4，AC+AD=3/4<1，故A点属于M类，此外，这种算法还能解决K个最近距离就有K类的问题。

n_neighbors：邻居个数，不再赘述

p：p=1表示曼哈顿距离，p=2表示欧式距离，p可以大于2，注意p参数只有在weights='distance'时才有

接下来介绍GridSearchCV的用法，先上代码：

 1 param_grid = [
 2     {
 3         'weights':['uniform'],
 4         'n_neighbors':[i for i in range(1,11)]
 5     },
 6     {
 7         'weights':['distance'],
 8         'n_neighbors':[i for i in range(1,11)],
 9         'p':[i for i in range(1,6)]
10     }
11 ]
12 grid_search = GridSearchCV(knn_clf,param_grid,n_jobs=-1,verbose=2)

GridSearchCV常用超参数：

estimator：创建的对象，如上的knn_clf

param_grid：是一个列表，列表里是算法对象的超参数的取值，用字典存储

n_jobs：使用电脑的CPU个数，-1代表全部使用

verbose：每次CV时输出的格式

接下来就用grid_search对象训练数据

1 %%time
2 grid_search.fit(X_train,y_train)

训练结果如下

grid_search.best_estimator_

这是取出参数最好的一组对应的分类器

grid_search.best_score_

这是取出最好的超参数组合对应的准确率

grid_search.best_params_

这是取出最好的一组超参数

knn_clf = grid_search.best_estimator_
y_pre = knn_clf.predict(X_test)
knn_clf.score(X_test,y_pre)

用最好的一组超参数的分类器对象去预测测试集，并计算准确率。

如有错误欢迎大家指出，谢谢

转载于:https://www.cnblogs.com/wf-ml/p/9615398.html