Ensemble Learning Task 4

Ensemble Learning Task 4
学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning

Task 4 的主要学习内容是 模型超参调优
具体包含了网格搜索与随机搜索两种调参方法。

1. 网格搜索
   网格搜索通过对所有超参进行排列组合，尝试所有的超参可能性。这种调参方法能够得到更优的结果，但同时也带来了巨大的计算消耗。因此比较适合在小数量集上使用。
2. 随机搜索
   随机搜索相较于网格搜索，进行了随机采样的操作。这样，大大降低了调参过程对算力的要求，同时效果往往比稀疏化网格法稍好。

此外，还有一种极为常用的调参方法：贝叶斯调参。
在贝叶斯调参中，通过不断添加样本点来更新目标函数的后验分布，我们可以通过这一高斯过程使后验分布逼近真实分布，从而获得更好的调参效果。但是贝叶斯调参并不一定得到全局优化结果，可能得到局部最优。