集成学习手册（四）

task 04

(5) 对模型超参数进行调优(调参)：
找到最佳参数的问题本质上属于最优化的内容，我们脑海中浮现出来的算法无非就是：梯度下降法、牛顿法等无约束优化算法或者约束优化算法，但是在具体验证这个想法是否可行之前，我们必须先认识两个最本质概念的区别。
参数与超参数
使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数。
我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数。
模型参数是模型内部的配置变量，其值可以根据数据进行估计。
例如：岭回归中的$\lambda$是超参数和$\omega$是参数。
那本次(5)调整的内容是超参数，也就是取不同的超参数的值对于模型的性能有不同的影响。

• 网格搜索GridSearchCV()：
  比如你有2个超参数需要去选择，那你就把所有的超参数选择列出来分别做排列组合。然后针对每组超参数分别建立一个模型，然后选择测试误差最小的那组超参数。换句话说，我们需要从超参数空间中寻找最优的超参数，很像一个网格中找到一个最优的节点，因此叫网格搜索。

• 随机搜索 RandomizedSearchCV() ：
  因为随着参数类别个数的增加，网格搜索需要尝试的次数呈指数级增长。随机搜索这种方式不仅仅高效，而且实验证明，随机搜索法结果比稀疏化网格法稍好(有时候也会极差，需要权衡)。参数的随机搜索中的每个参数都是从可能的参数值的分布中采样的。