心跳信号分类预测（四）

建模调参

贝叶斯调参

机器学习中参数调优的目的是为了找到模型在测试集上表现最好的参数，目前常见的调参方法主要有四种：

1、手动调参；
2、网格搜索；
3、随机搜索；
4、基于贝叶斯方法的参数调优。

上面四种方法从上到下效率是依次上升的。除此之外，其实还有遗传算法和梯度算法可用来调参，但是梯度算法是不适用于调节超参的。超参数是指模型在训练之前人为设置的参数，例如随机森林中的树数量是一个超参数，而神经网络中的权重则不是，权重是训练期间学习得到的模型参数。

贝叶斯超参调优的简单总结就是：建立目标函数的概率模型，并使用它选择最优的超参数以对真实目标函数进行评估。

超参调优可用下式来表示：

其中f(x)表示模型的目标函数（或称loss函数），如RMSE。x*则是使得f(x)得分最好的参数。
手动调参是一件非常费时费力的工作，网格调参和随机调参虽然没那么费力但是费机器。网格调参和随机调参一个很关键的缺点是其不能从已经搜索过的参数结果中获取信息。从贝叶斯角度来说，网格调参和随机调参无法将已经搜索过的参数有效转化为先验信息，并与后续的最优参数选择（即后验）建立联系。而贝叶斯调参则是对这一点进行了改进，其将已搜索过的参数作为参数的先验信息并以其为基础选择出最优（后验）参数。

因此我们可以先使用一个替代目标函数来找出当前最优参数，即