机器学习-深度学习-调参技巧【贝叶斯优化】

贝叶斯优化

贝叶斯优化可以解决在调参时，参数组合的盲目搜索（gridsearch）可以快速，高效的找到相对最优的参数。

Sequential model-based optimization (SMBO) 是贝叶斯优化的最简形式，其算法思路如下：

主要的流程如下（引用自limoumou）

流程和伪代码中关键内容讲解：
PF-fitmodel：
找到模型分布，如果已知，则可以根据经验选择最优的模型；如果未知，则可以采用基于高斯过程的核函数作为黑盒函数自己学习。
高斯过程的内容可以参考