零基础入门数据挖掘-心跳信号分类预测 Task4模型调参

本次任务主要是学习模型调参，学习材料主要介绍了贪心调参，网格搜索和贝叶斯调参3种调参方法。其中，贝叶斯调参对我来说是比较新鲜的知识。贝叶斯调参是一种基于高斯过程和贝叶斯定理的参数优化方法（高斯过程是是一系列服从正态分布的随机变量的联合分布），贝叶斯定理则是基于先验概率推测未来发生的概率。贝叶斯调参就是通过不断添加新的样本点来（贝叶斯定理）调整目标函数的后验分布（高斯过程），使其符合目标函数的真实分布。
贝叶斯调参包含几个内容，
1.目标函数：我们想要最小化的内容，在这里，目标函数是机器学习模型使用该组超参数在验证集上的损失。
2.域空间：要搜索的超参数的取值范围
3.优化算法：构造替代函数并选择下一个超参数值进行评估的方法。
4.结果历史记录：来自目标函数评估的存储结果，包括超参数和验证集上的损失。
贝叶斯调参的步骤为：
1.定义优化函数
2.建立模型
3.定义待优化的参数
4.得到优化结果，并返回要优化的分数指标
5.根据优化后的参数建立新的模型，降低学习率并寻找最优模型迭代次数
6.建立最终模型并对验证集进行验证
等