贝叶斯优化

1.BOA是寻找黑盒函数最值点的算法

2.采集函数是后验的函数，它寻找最大化后验均值与标准差的函数点

3.采集函数可以理解为效用函数，权衡当前结果与探索的可能性

4.常用的采集函数有PI、EI和LCB等

5.BOA算法流程：对初始观测值建立GPR；利用采集函数寻找下个观测值；根据新信息建立GPR；重复上述过程直至收敛或迭代终止

本篇继高斯过程回归研究另外一个问题：如何确定黑盒函数的最值点。这个问题也叫贝叶斯优化算法（ Bayesian Optimization Algorithm，BOA），它是说，在无法确定函数表达式的前提下，怎么找到它的最大值点或最小值点。

本文需要用到的铺垫知识有（文章传送门）：

高斯分布

贝叶斯线性回归

核函数

高斯过程回归(GPR)

在一些场景中，我们只需要确定函数的最值点而不需要完全知道函数的表达式，这就要求我们没有必要花费精力在探索函数的整个表达式，而只需要想方设法找到函数的最值点即可，在一些更加复杂，甚至无法完全了解其函数表达式而只掌握部分信息的条件下显得更加节省资源。这个就是贝叶斯优化的核心问题：“根据目前我们所知道的，我们接下来应该评估哪一个点？使得其更加接近函数最值点”

我们利用下面的算法解决这个问题：

1. 选择代理模型(GP)来对真实函数f建模并定义其先验

2. 给定一组观察值(函数评估)࿰