集成学习之模型超参数调优

集成学习之模型超参数调优

首先感谢Datawhale提供的学习机会。
第一我们要明白什么是参数什么是超参数。
参数与超参数：
岭回归中的参数a和参数w之间有什么不一样？事实上，参数w是我们通过设定某一个具体的 后使用类似于最小二乘法、梯度下降法等方式优化出来的，我们总是设定了是多少后才优化出来的参数w。因此，类似于参数w一样，使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为参数，类似于a一样，我们无法使用最小二乘法或者梯度下降法等最优化算法优化出来的数我们称为超参数。
模型参数是模型内部的配置变量，其值可以根据数据进行估计。
进行预测时需要参数。
它参数定义了可使用的模型。
参数是从数据估计或获悉的。
参数通常不由编程者手动设置。
参数通常被保存为学习模型的一部分。
参数是机器学习算法的关键，它们通常由过去的训练数据中总结得出 。
模型超参数是模型外部的配置，其值无法从数据中估计。
超参数通常用于帮助估计模型参数。
超参数通常由人工指定。
超参数通常可以使用启发式设置。
超参数经常被调整为给定的预测建模问题。
我们前面(4)部分的优化都是基于模型本身的具体形式的优化，那本次(5)调整的内容是超参
数，也就是取不同的超参数的值对于模型的性能有不同的影响.
常用的调参方法有：网格搜索法、随机搜索法、贝叶斯调参法、贪婪调参法等。
网格搜索GridSearchCV()：
网格搜索的思想非常简单，就是把你所需的超参数，按照你设定的间隔，进行排列组合，然后进行调参。换句话说