20191203——机器学习复习 模型选择与调优

模型选择与调优

在knn算法中，k的选择是一个重要的问题
那么有没有一种办法能选择准确的K值

模型选择与调优可以实现

什么是交叉验证

交叉验证：我们拿到的训练数据，分为训练集和验证集。将数据分为4份，其中一份作为验证集，然后经过4组的测试，每次都更换不同的验证集，即得到4组的结果，取平均值作为最终结果，又称4折验证。

让结果更加准确

超参数，网格搜索

如果选择最好的k值，让k有一个集合，从集合中遍历看哪个k最好

通常情况下，有很多参数需要手动指定的（如k近邻算法中的k值），这种叫做超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估，最后选出最优参数组合建立模型。

模型选择与调优API

sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)

estimator 预估器对象
param_gird 将如knn中的k以字典的形式传入 n_neighbors:[1,3,5]
cv 指定几折验证

结果分析:
best_params_ 最佳参数
best_score_ 最佳结果
best_estimator_ 最佳预估器
cv_results_ 交叉验证结果

鸢尾花增加网格搜索K值调优

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import  KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
iris = load_iris()
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=22)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
estimator1 = KNeighborsClassifier()

estimator = GridSearchCV(estimator1,{"n_neighbors":[1,3,5,7,9,11]})
estimator.fit(x_train,y_train)
score = estimator.score(x_train,y_train)
print(score)

print("最佳参数",estimator.best_params_)
print("最佳结果",estimator.best_score_)
print("最佳预估器",estimator.best_estimator_)
print("交叉验证结果", estimator.cv_results_)