使用Mercer特征的组合贝叶斯优化

Mercer Features for Efficient Combinatorial Bayesian Optimization

1.摘要

提出了MerCBO,该算法利用离散对象的组合图表示的结构,为离散对象上的扩散核提供显式的Mercer特征映射。这个Mercer特征结合汤普森Tompson采样，可以变成一个易于求解内循环(内部获取函数优化)的求解器。论文的代码：https://github.com/aryandeshwal/MerCBO

2.介绍

使用昂贵的评估在组合空间（例如，序列和图）上的黑盒优化问题出现在不同的现实世界的应用程序中。一个典型的例子是在wet实验室实验指导下的分子优化。
贝叶斯优化(BO)是一个有效的框架。在解决这些问题方面，并在连续空间方面取得了很多成功。
而组合空间面临的关键挑战是适当地权衡统计模型的复杂性和搜索过程的可处理性，以选择可供评估的结构。
本文的主要思想是利用组合中的图表示的结构来提取强大的低维特征。它认为关键的挑战是要适当地权衡统计模型M的复杂性和解决上述获取函数优化(AFO)问题的可处理性。
MercBO根据扩散核的显式特征图计算这类光滑函数的封闭表达式，并称之为Mercer特征。
作者首先证明了Mercer特征结合TS(汤普森采样)后，优化采集函数变成了一个BQP（二元二次问题）的优化。然后使用了一种快速的可扩展的亚模块方法。该方法的关键思想是根据未知的松弛参数构造BQP问题的下界，并迭代优化这些参数以提高精度。

在许多科学应用中（如生物序列设计和化学设计），我们能够进行大量的并行实验（即一次迭代中采样多个样本）。因此，非常需要可伸缩的算法来选择一批输入来进行并行评估，以快速发现不同的和高性能的结构。MerCBO可以用来满足这个需求，因为汤普森采样可以并行平行，其探索策略对多样性很有用。

3.算法

本文算法的总体框架如下：

算法一开始有个小数据集的真实采样，并在该数据集上构建代理模型M。
每轮迭代中，得到一个AFO优化结果的最佳采样点，进行真实采样。将其，x(离散序列)，y(目标值)，和该点的Mercer特征加入训练。

MerCBO是通用BO框架的一个实例化.
1.带扩散核的高斯过程是代理统计模型
2.利用所提出的Mercer特征从GP后验的参数近似中进行采样，以构建汤普森采样目标。
3.获取函数优化问题是一个二元二次程序，它用一种有效且可扩展的子模松弛方法进行求解。其关键思想是根据一些未知的松弛参数构造AFO问题的下界，并迭代优化这些参数以得到一个更紧的界。

MerCBO的优势：
Mercer特征可以使得算法可以利用到很多连续域的获取函数。
保留了使用扩散核的复杂的基于gp的模型的建模强度，并且仍然允许使用汤普森采样的可处理和可伸缩的AFO过程。
Mercer特性与TS结合具有许多科学应用的需求：探索结构的多样性和并行评估的大量结构的选择。事实上，在生物序列设计上的实验证明了TS（令人尴尬的并行）与EI组合的有效性。

理解Mercer的原理需要先理解一些数学上的东西。

1. 拉普拉斯图，其使用拉普拉斯矩阵L定义，L=D-A,其中D为加权度矩阵，A为邻接矩阵。

4.总结

通常来说，在贝叶斯优化中的改进有三方面：1.代理模型（高斯过程，神经网络集） 2.获取函数 3.获取函数的优化（尤其是在离散问题中）。
本文的创新点就在第3点上。它通过提取的MerCBO来帮助获取函数的优化。

返回贝叶斯优化优秀论文总结目录