sklearn中的超参数网格搜索

超参数网格搜索

sklearn中封装了超参数网格搜索的方法，使用起来会比自己写更加方便。所谓的网格查找其实只是把所有的参数都遍历一边，然后选出一个最好的模型。
下面对KNN模型进行超参数网格搜索。

#导入库
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

加载、分割数据集。

igits=load_digits()
X=digits.data
y=digits.target
X_train,X_test,y_train,y_test=train_test_split(X,y)

定义超参数网格，这里的weights、n_neighbors、p都是KNeighborsClassifier构造方法中的参数，也就是knn模型的超参数，分别表示是否考虑边的权重、考虑的邻居数量、明可夫斯基距离中的p。

param_grid=[ 
    {
        'weights':['uniform'],
        'n_neighbors':[k for k in range(2,12)]
    },
    {
        'weights':['distance'],
        'n_neighbors':[k for k in range(2,12)],
        'p':[p for p in range(1,5)]
    }
]

使用sklearn中的网格搜索对象GridSearchCV，这里的CV指的是交叉验证。

knn_clf=KNeighborsClassifier()
#n_job是使用几个核心来运行,verbose是显示的训练过程中的信息.
grid_search=GridSearchCV(knn_clf,param_grid=param_grid,n_jobs=-1,verbose=2)

开始搜索参数。

grid_search.fit(X_train,y_train)

输出最优模型、最优参数、最优评分。

grid_search.best_estimator_
rid_search.best_params_
grid_search.best_score_

输出:
KNeighborsClassifier(n_neighbors=2, p=4, weights='distance')
{'n_neighbors': 2, 'p': 4, 'weights': 'distance'}
0.9873743632107944