SMBO(SequentialModel-Based GlobalOptimization)

序贯模型优化（Sequential model-based optimization，SMBO），是最有效的函数优化方法之一。与共轭梯度下降法等标准优化策略相比，SMBO的优势有：利用平滑性而无需计算梯度；可处理实数、离散值、条件变量等；可处理大量（成百上千）变量并行优化。

贝叶斯优化是参数优化的自适应方法，在探索参数空间的新区域之间进行权衡，并利用历史信息来找到快速最大化函数的参数。像随机搜索一样，贝叶斯优化是随机的。

贝叶斯优化属于一类称为基于顺序模型的优化（SMBO）算法的优化算法。这些算法使用先前评估的参数和结果来假设未观察到的参数，采集功能使用此信息建议下一组参数。

 

SMBO在AutoML的应用：

SMBO全称SequentialModel-Based GlobalOptimization，是AutoML中一种搜寻最优超参的方法，用一句话概括就是：在有限的迭代轮数内，按照损失函数的期望值最小同时方差最大的方式选择参数。直观点理解，就是选择loss小，并且最有可能更小的地方进行探索，寻找更优超参。

如下图，横轴为超参x，纵轴为超参的返回值即loss。红色实线是真实loss，蓝色圆圈是几个测试的点，蓝色虚线和灰色区域是根据蓝色圆圈拟合的均值和置信区间（2个标准差是95%的置信区间），EI即SMBO的评估方程。

可以看到，第一轮有个很明显的凸起高峰，这个高峰即第一轮的结果，拿着这个x' 重新计算 loss，就可以得到 (b) 里新的蓝圈，进入下一轮。在第二轮中，重新计算EI，发现有两个高峰，左边峰值