sklearn超参数调整方法 [GridSearchCV, RandomizedSearchCV]

模型调整， 假设已经找到了一些潜在的模型，下面是几种方法用于模型调整

1. 超参数修改

• 网格搜索 (grid searh)
  一种方法是手动调整超参数(hyperparameters)。
  GridSearchCV,参数为你想调整的超参数和该超参数的值。
  class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=None, iid=’warn’, refit=True, cv=’warn’, verbose=0, pre_dispatch=‘2*n_jobs’, error_score=’raise-deprecating’, return_train_score=’warn’)
  参数：
• estimator sklearn实现的estimator接口，需要提供score函数，或者有scoring参数
• param_id: 字典或字典的列表
  [{需要调整的超参数1： 超参数的可能的值}, { {需要调整的超参数2： 超参数的可能的值}}, ], 注意一个字典内为一组超参数的组合方式
• scoring: 误差函数
• cv : 将训练集分为多少个folds

属性：

• best_params

• cv_results_

from sklearn.model_selection import GridSearchCV
param_grid = [
{
    'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
{
    'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
]

forest_reg = RandomForestRegressor()
grid_search = GridSearchCV(forest_reg, param_grid, cv=5,
                          scoring='neg_mean_squared_error')

grid_search.fit(housing_prepared, housing_labels)

sklearn 根据param_grid的值，首先会评估$3\times 4=12$种n_estimators和max_features的组合方式，接下来在会在bootstrap=False的情况下（默认该值为True），评估$2\times 3=6$种12种n_estimators和max_features的组合方式，所以最终会有$12+6=18$种不同的超参数组合方式,
而每一种组合方式要在训练集上训练5次， 所以一共要训练$18\times 5=90$次，当训练结束后，你可以通过best_params_获得最好的组合方式

grid_search.best_params_

out:

{‘max_features’: 8, ‘n_estimators’: 30}

得到最好的模型

grid_search.best_estimator_

out:

RandomForestRegressor(bootstrap=True, criterion=‘mse’, max_depth=None,
max_features=8, max_leaf_nodes=None, min_impurity_decrease=0.0,
min_impurity_split=None, min_samples_leaf=1,
min_samples_split=2, min_weight_fraction_leaf=0.0,
n_estimators=30, n_jobs=1, oob_score=False, random_state=None,
verbose=0, warm_start=False)

如果GridSearchCV初始化时，refit=True（默认的初始化值）,在交叉验证时，一旦发现最好的模型（estimator）,将会在整个训练集上重新训练，这通常是一个好主意，因为使用更多的数据集会提升模型的性能。

cv_results_：将结果存在一个字典里, 可以转化为DataFrame类型，每一行为一种超参数组合方式。

cv = pd.DataFrame(grid_search.cv_results_
cv

# out:



	mean_fit_time	std_fit_time	mean_score_time	std_score_time	param_max_features	param_n_estimators	param_bootstrap	params	split0_test_score	split1_test_score	...	mean_test_score	std_test_score	rank_test_score	split0_train_score	split1_train_score	split2_train_score	split3_train_score	split4_train_score	mean_train_score	std_trai