贝叶斯优化之美：精妙算法背后的直觉

全文共2913字，预计学习时长8分钟

图源：unsplash

 

有一个函数f(x)，它的计算成本很高，甚至不一定是解析表达式，而且导数未知。你的任务是，找出全局最小值。当然，这个任务挺难的，比机器学习中的其他优化问题要难得多。例如，梯度下降可以获得函数的导数，并利用数学捷径来更快地计算表达式。

 

另外，在某些优化场景中，函数的计算成本很低。如果可以在几秒钟内得到数百个输入值x的变量结果，简单的网格搜索效果会更好。另外，还可以使用大量非传统的非梯度优化方法，如粒子群算法或模拟退火算法（simulated annealing）。

 

但是，当前的任务没有还没这么高级。优化层面有限，主要包括：

 

·        计算成本高。理想情况下，我们能够对函数进行足够的查询，从而从本质上复制它，但是采用的优化方法必须在有限的输入采样中才能起作用。

 

·        导数未知。梯度下降及其风格仍然是最流行的深度学习方法，甚至有时在其他机器学习算法中也备受欢迎的原因所在。导数给了优化器方向感，不过我们没有导数。

 

·        需要找出全局最小值，即使对于梯度下降这样精细的方法，这也是一项困难的任务。模型需要某种机制来避免陷入局部最小值。

 

我们的解决方案是贝叶斯优化，它提供了一个简洁的框架来处理类似于场景描述的问题，以最精简的步骤数找到全局最小值。

 

构造一个函数c(x)的假设例子，或者给定输入值x的模型的成本。当然，这个函数看起来是什么样子对优化器是隐藏的——这就是c(x)的真实形状，行话中被称为“目标函数”。

 

                            

贝叶斯优化通过代理优化方法来完成这项任务。代理函数（surrogate function）是指目标函数的近似函数，是基于采样点形成的。

 

 

代理函数可以帮助确定哪些点是可能的最小值。我们决定从这些有希望的区域中抽取更多样本，并相应地更新代理函数。