GridSearchCV的作用能够自动调参(Parameter tuning),只要把参数输进去,就能给出最优化的结果和参数。但是这个方法适合于小数据集,一旦数据的量级上去了,很难得出结果。
GridSearchCV的名字其实可以拆分为两部分,GridSearch和CV,即网格搜索和交叉验证。这两个名字都非常好理解。网格搜索,搜索的是参数,即在指定的参数范围内,按步长依次调整参数,利用调整的参数训练学习器,从所有的参数中找到在验证集上精度最高的参数,这其实是一个训练和比较的过程。
GridSearchCV可以保证在指定的参数范围内找到精度最高的参数,但是这也是网格搜索的缺陷所在,他要求遍历所有可能参数的组合,在面对大数据集和多参数的情况下,非常耗时。
import pandas as pd import sklearn.tree as tree from sklearn.model_selection import GridSearchCV from sklearn.model_selection import train_test_split df = pd.read_csv("diabetes_data_upload.csv") X = pd.get_dummies(df.drop(columns="class")) y = df["class"] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3) parameters = {'min_impurity_decrease': [0.05*i for i in range(3)], 'criterion': ["gini", "entropy"]} dtc = tree.DecisionTreeClassifier() gs_dtc = GridSearchCV(dtc, parameters, scoring="accuracy", cv=10) gs_dtc.fit(X_train, y_train) print(gs_dtc.cv_results_) best_index = gs_dtc.cv_results_['rank_test_score'].argmin() best_param = gs_dtc.cv_results_['params'][best_index] print(best_param)
Grid SearchCV(网格搜索)& Python实现
最新推荐文章于 2024-06-11 21:27:45 发布