集成学习笔记04 回归模型的评估及超参数调优

集成学习笔记04 回归模型的评估及超参数调优

相关学习资料请参考datawhale

1.参数和超参数

在对模型调优过程中，我们会碰到参数和超参数的问题。简单来说，参数是我们能够通过算法优化出来的数，而超参数，则是无法通过算法优化算出来的数。

1.1 参数相关概念

模型参数是模型内部的配置变量，其值可以根据数据进行估计。

• 进行预测时需要参数。
• 它参数定义了可使用的模型。
• 参数是从数据估计或获悉的。
• 参数通常不由编程者手动设置。
• 参数通常被保存为学习模型的一部分。
• 参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出 。

1.2 超参数相关概念

模型超参数是模型外部的配置，其值无法从数据中估计。

• 超参数通常用于帮助估计模型参数。
• 超参数通常由人工指定。
• 超参数通常可以使用启发式设置。
• 超参数经常被调整为给定的预测建模问题。
  所以，在模型调优过程中，我们调整的一般都是超参数。通过对超参数的调整，尽可能地使模型的性能最优。

2. 调参方法（超参数）

2.1 网格搜索GridSearchCV()

网格搜索，顾名思义，就是在由可选参数组成的网格中进行选择，每个网格对应不同的参数值组成的空间。网格搜索通过对每个网格中参数的值进行模型精度计算，最后选出最优的网格。
它基本是自动调参，但需要事先将参数输进去，才能给出最优化的结果和参数。但是这个方法适合于小数据集，一旦数据的量级上去了，很难得出结果。

2.1.1 sklearn中对应函数GridSearchCV()

class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1, iid=True, refit=True, cv=None, verbose=0, pre_dispatch=‘2*n_jobs’, error_score=’raise’, ret