Ensemble Learning Task 4
学习地址:https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning
Task 4 的主要学习内容是 模型超参调优
具体包含了网格搜索与随机搜索两种调参方法。
- 网格搜索
网格搜索通过对所有超参进行排列组合,尝试所有的超参可能性。这种调参方法能够得到更优的结果,但同时也带来了巨大的计算消耗。因此比较适合在小数量集上使用。 - 随机搜索
随机搜索相较于网格搜索,进行了随机采样的操作。这样,大大降低了调参过程对算力的要求,同时效果往往比稀疏化网格法稍好。
此外,还有一种极为常用的调参方法:贝叶斯调参。
在贝叶斯调参中,通过不断添加样本点来更新目标函数的后验分布,我们可以通过这一高斯过程使后验分布逼近真实分布,从而获得更好的调参效果。但是贝叶斯调参并不一定得到全局优化结果,可能得到局部最优。