网格搜索（GridSearch）及参数说明，实例演示

网格搜索（GridSearch）及参数说明，实例演示

一）GridSearchCV简介
网格搜索（GridSearch）用于选取模型的最优超参数。获取最优超参数的方式可以绘制验证曲线，但是验证曲线只能每次获取一个最优超参数。如果多个超参数有很多排列组合的话，就可以使用网格搜索寻求最优超参数的组合。

网格搜索针对超参数组合列表中的每一个组合，实例化给定的模型，做cv次交叉验证，将平均得分最高的超参数组合作为最佳的选择，返回模型对象。

二）sklearn.model_selection.GridSearchCV参数详解

sklearn.model_selection.GridSearchCV(
estimator, 
param_grid, 
scoring=None,
 n_jobs=None,
 iid=’warn’, 
refit=True, 
cv=’warn’, 
verbose=0, 
pre_dispatch=‘2*n_jobs’, 
error_score=’raise-deprecating’, 
return_train_score=False)

（1） estimator

选择使用的分类器，并且传入除需要确定最佳的参数之外的其他参数。
（2） param_grid

需要最优化的参数的取值，值为字典或者列表。
（3） scoring=None

模型评价标准，默认None。
根据所选模型不同，评价准则不同。比如scoring=”accuracy”。
如果是None，则使用estimator的误差估计函数。
（4） n_jobs=1 进程个数，默认为1。 若值为 -1，则用所有的CPU进行运算。 若值为1，则不进行并行运算，这样的话方便调试。

（5） iid=True
默认True,为True时，默认为各个样本fold概率分布一致，误差估计为所有样本之和，而非各个fold的平均。

（6） refit=True

默认为True,程序将会以交叉验证训练集得到的最佳参数，重新对所有可用的训练集与开发集进行，作为最终用于性能评估的最佳模型参数。即在搜索参数结束后，用最佳参数结果再次fit一遍全部数据集。

（7） cv=None

交叉验证参数，默认None，使用三折交叉验证。

（8） verbose=0,
verbose：日志冗长度
0：不输出训练过程，
1：偶尔输出，>1：对每个子模型都输出。

（9） pre_dispatch=‘2*n_jobs’

指定总共分发的并行任务数。当n_jobs大于1时，数据将在每个运行点进行复制，这可能导致OOM，而设置pre_dispatch参数，则可以预先划分总共的job数量，使数据最多被复制pre_dispatch次

三）以鸢尾花数据集为例，基于网格搜索得到最优模型

import numpy as np
import sklearn.model_selection as ms
import sklearn.svm as svm #导入svm函数
from sklearn.datasets import load_iris  #导入鸢尾花数据
iris = load_iris()
x = iris.data
y = iris.target
# 可以看到样本大概分为三类
print(x[:5])
print(y)

out：

[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]
 [4.6 3.1 1.5 0.2]
 [5.  3.6 1.4 0.2]]
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0