工业黑箱问题怎么解？高维搜索空间上的多目标贝叶斯优化

Multi-Objective Bayesian Optimization over High-Dimensional Search Spaces（2022）

摘 要

许多现实世界的科学和工业应用需要优化多个相互竞争的黑箱目标。当目标的评估成本很高时，多目标贝叶斯优化(BO)是一种流行的方法，因为它的样本效率很高。然而，大多数现有的多目标BO方法在参数超过几十个的搜索空间上表现不佳，并且依赖于全局代用模型，这些模型随着观测值的增加而呈立方体扩展。于是，本文提出了一种在高维搜索空间上用于多目标BO的可扩展方法——MORBO，通过使用协调策略在设计空间的多个局部区域并行执行BO来确定多样化的全局最优解。

1 引入

评估一个设计涉及到制造和测量原型，或者运行计算密集型的模拟，对于这样的问题，样本效率的优化是最重要的。贝叶斯优化(BO)已经成为一种有效的、通用的、具有样本效率的 "黑箱 "优化方法，对机器学习的超参数调整非常有效。然而，在其基本形式上，BO受到重要的限制，特别是：
(i)成功的应用通常考虑低维搜索空间，通常只有不到20个可调整的参数；
(ii)用典型的高斯过程(GP)代用模型进行推理，相对于数据点的数量会产生立方的时间复杂性，这妨碍了在大样本制度下的使用；
(iii)大多数方法专注于单目标无约束问题。
在本文中，通过使BO适用于具有挑战性的高维多目标问题来填补这一空白。为此，提出了一种叫做MORBO(“多目标区域化贝叶斯优化”)的算法。该算法使用一套协调的本地信任区域(TRs)并行优化全球帕累托前沿的不同部分。为了能够扩展到大的评估预算，MORBO利用了目标函数的局部GP代理模型。

图1：MORBO在具有2个参数和2个约束条件的2个目标基准问题上的图示，称为MW7，具有3TRs。最左边的图说明了MORBO的中心选择技术是如何将TRs集中在帕累托前沿不同部分的帕累托最优点上的。最右边的三幅图显示了设计空间的TRs，以及分别表示是否满足所有黑箱约束的2个目标指标和可行性指标的轮廓。每个本地模型只对其相应的TR收集的数据进行拟合相比，共享不同TR收集的观测数据为本地模型提供了更多的观测数据。
通过综合评估表明，在具有挑战性的高维多目标问题上，与最先进的方法相比，MORBO在时间和资源方面节省了一个数量级。

2 背景

由于ParEGO是一种成熟的方法(在低维设置中)，可以优化随机切比雪夫标度。然而，正如我们在图2的左边子图中所展示的，这种方法导致的PF的覆盖率非常差。如图2所示，我们观察到MORBO产生的PF具有更好的覆盖率(权衡的多样性)。此外，TuRBO中的TRs是独立的；它们不传递关于被评估的设计和观察的信息，也不合作优化全局PF——相反，它们孤立地行动以优化自己的目标。总之，这导致了对样本预算的低效使用。
​

图2：在600次评估、批次大小为50和3TRs后，在d=100的2目标DTLZ2函数上取得的目标值。散点图说明了搜索行为。灰色圆圈表示初始空间填充设计，这两种方法都是一样的。其他标记的形状和颜色表示3TRs中哪一个获得了给定的解决方案。黑线表示每种方法所确定的近似帕累托前沿。(左图)TuRBO的一个直接的扩展，即每个TR优化目标的随机切比雪夫标度化，并没有探索目标之间的权衡，因为TR很少在这种方法下被终止，这导致只有少数标度化被使用。(中心)相比之下，MORBO采用了一种中心选择策略，主动针对帕累托前沿未被充分开发的区域，并使用一种基于超容积的获取函数，已知该函数可以奖励到高质量的帕累托前沿，并探索PF的全部内容。(右图)MORBO可以通过使用5TRs协作，并行地局部优化PF的不相干区域，在MW7函数(d=10，有2个约束条件)上发现全局PF的不相干区域。这与带有切比雪夫标度的TuRBO形成了鲜明的对比，左图显示产生了覆盖率和多样性较差的近似帕累托前沿，即使真正的PF是连接的和简单的。

3 MORBO

MORBO，一种用于约束高维多目标BO的协作式多TR方法。MORBO不是遵循TuRBO采用多个独立TR的方法，而是在TR之间分享观察结果，为每个TR提供关于TR中局部优化的相关目标和约束的所有可用信息。此外，MORBO进一步偏离了TuRBO：
(1)以协调的方式选择TR中心点，以鼓励识别具有良好覆盖率的帕累托前沿；
(2)通过协作优化共享的全局效用来选择新的候选设计；
(3)采用局部模型来降低计算复杂性，提高大数据体制下的可扩展性。如图2的中心图所示，MORBO确定了一个高质量的PF，其覆盖率比上述简单的TuRBO扩展好得多。
3.1 通过全局效用最大化进行协同批量选择
最大化超容积改进(HVI)已被证明可以产生高质量和多样化的PF。给定一个参考点，从一组点开始的超容积改进是将这些点加入到先前选择的点时HV的增加。预期HVI(EHVI)是一个流行的获取函数，它将HVI整合到GP后验中。然而，直接最大化EHVI需要重新计算GP后验，并在每个梯度步骤中从中取样，随着目标(和约束)以及样本内数据点数量的增加，这将变得非常缓慢。
为了允许对大批量q的可扩展性，本文改用汤普森抽样(TS)从GP中抽取q后验样本，并在每次实现下优化HVI。这种方法有效地让TR协同最大化全局HVI效用函数。利用这一全局效用，如果至少有一个人提出，TR就认为迭代是成功的。基于HV的获取函数的另一个好处是，它们自然地提供了一组点的效用值，这使得TRs能够针对PF的不同部分。
3.2 协调的Trust区域中心选择
在(受限的)单目标优化中，以前的工作将本地TR集中在最佳(可行)的观察点上。然而，在多目标设置中，通常没有单一的最佳解决方案。假设无噪声观测，MORBO选择中心为PF上具有最大超容积贡献(HVC)的可行点。如果没有可行的点，MORBO会选择总违反约束条件最少的点。
3.3 本地建模
大多数BO方法使用单一的全局GP模型，通常有一个固定的内核(如Matérn-5/2)，使用自动相关性确定(ARD)来拟合迄今为止收集的所有观测数据。虽然全局模型对大多数BO方法来说是必要的，但MORBO只要求每个模型在相应的TR内是准确的。为了提高可扩展性，本文采用局部建模，其中只包括边缘长度为2L的局部建模超立方体中包含的观测值。
MORBO在不同的TR之间共享观测数据，并采用局部模型，即对边缘长度为2L的超立方体中的所有观测数据进行模型拟合。这大大降低了计算成本，因为精确的GP拟合会随着数据点数量的增加而呈立方体扩展。

4 实验

在具有不同数量的输入参数(d)、目标(M)和约束条件(V)的广泛基准上评估MORBO。本文考虑了三个具有挑战性的现实世界问题：
一个轨迹规划问题(d = 60)；
一个为AR/VR应用设计光学系统的问题(d = 146)；一个汽车设计问题(d = 222，V = 54)。
本文将MORBO与多目标BO方法(qNEHVI、qParEGO、TS-TCH、TSEMO、DGEMO、MOEA/D-EGO)、最近利用搜索空间划分的工作(LaMOO-CMAES、LaMOO-qNEHVI)、广泛使用的进化算法(NSGA-II)以及Sobol一种准随机基线(种子设计从扰乱的Sobol序列中取样)进行比较。对所有的方法进行了20次复制，并对每次复制使用相同的准随机初始点进行初始化。

图3：(左)MORBO在轨迹规划问题上优于其他方法(d=60)。(中)光学设计问题(d=146)的结果说明。NSGA-II的表现比BO基线好，但与MORBO相比没有竞争力。(右图)MORBO在有54个黑箱约束的马自达车辆设计问题(d=222)上表现出令人信服的性能。
同时，对所有问题使用相同的MORBO超参数，并在图4中分析了MORBO对其超参数的敏感性。
​

图4：MORBO对其超参数的敏感性。使用多个TRs的表现明显好于使用单个TRs，而数据共享和使用基于超容积的获取函数是MORBO的重要组成部分。

5 总结

本文提出MORBO，一种用于高维搜索空间的多目标BO的算法。通过使用协调、协作的多信任区域方法和可扩展的本地建模，MORBO可以优雅地扩展到高维问题和高吞吐量的设置。在一个全面的实验评估中，MORBO能够有效地解决重要的现实世界问题，这些问题以前是现有BO方法所不能解决的。与现有的先进方法(如进化算法)相比，MORBO在样本效率方面取得了实质性的改善，希望MORBO能够为从业者在需要解决挑战性优化问题的许多学科中节省大量时间和资源。
然而，该方法也有一些局限性。尽管MORBO可以处理大量的黑箱约束，但使用基于超体积的采集意味着计算的复杂性随着目标数量的增加而降低。此外，MORBO针对大批量的高吞吐量设置进行了优化，其他方法可能更适合于在评估预算较少的低维问题上取得更好的性能。

由棵岩翻译支持 power by keyan translate

棵岩阅读 - 专为科研打造的阅读和知识发现工具

科研阅读 | 文献阅读 | SCI |