Grid SearchCV（网格搜索）& Python实现

      GridSearchCV的作用能够自动调参(Parameter tuning)，只要把参数输进去，就能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。       

  

      GridSearchCV的名字其实可以拆分为两部分，GridSearch和CV，即网格搜索和交叉验证。这两个名字都非常好理解。网格搜索，搜索的是参数，即在指定的参数范围内，按步长依次调整参数，利用调整的参数训练学习器，从所有的参数中找到在验证集上精度最高的参数，这其实是一个训练和比较的过程。

　　GridSearchCV可以保证在指定的参数范围内找到精度最高的参数，但是这也是网格搜索的缺陷所在，他要求遍历所有可能参数的组合，在面对大数据集和多参数的情况下，非常耗时。

 

import pandas as pd
import sklearn.tree as tree
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split

df = pd.read_csv("diabetes_data_upload.csv")
X = pd.get_dummies(df.drop(columns="class"))
y = df["class"]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

parameters = {'min_impurity_decrease': [0.05*i for i in range(3)],
              'criterion': ["gini", "entropy"]}

dtc = tree.DecisionTreeClassifier()
gs_dtc = GridSearchCV(dtc, parameters, scoring="accuracy", cv=10)
gs_dtc.fit(X_train, y_train)

print(gs_dtc.cv_results_)

best_index = gs_dtc.cv_results_['rank_test_score'].argmin()
best_param = gs_dtc.cv_results_['params'][best_index]
print(best_param)