高维设计空间中多目标优化的智能采样框架

An intelligent sampling framework for multi-objective optimization in high dimensional design space

1.摘要

本文提出了一种新的智能采样框架，旨在解决大规模优化问题，即具有多目标、高维设计空间和非线性/非凸约束的工程应用。 并在三个例子中证明了该框架的能力。

2.介绍

自适应采样方法目的是减少优化过程中总的训练样本数。

智能采样框架包括以下四个方面：

1. 先进的代理建模技术，能够用数据相对有限的高维输入变量逼近非线性目标函数
2. 用于多目标应用的基于超体积的EI函数的有效数值方法
3. 在设计空间上寻找具有高EI值的候选采样点的优化算法
4. 处理非线性和非凸约束的方法，包括惩罚的EI公式和基于神经网络的分类模型，以识别可行区域。

3.通用的进行多目标优化的智能采样框架

其中EI帕累托前沿由于新选择的采样点而潜在改善的定量度量。 超体积度量(HV, hypervolume metric)是EI的一种流行公式，它直接测量现有帕累托前沿和估计的新帕累托前沿之间的体积。

4.BHM/IDACE框架

这部分介绍了GE的内部智能采样框架，称为“BHM/IDACE”（贝叶斯混合建模/计算机实验的智能设计和分析），该框架是基于上面中描述的一般框架开发的。 BHM/IDACE包含四个主要组件：代理建模、多目标EI函数的快速计算、设计空间上EI函数的优化以及约束的处理。

4.1代理模型
代理模型是BHM/IDACE框架中最重要的组成部分，因为代理模型的预测决定了选择下一组采样点的位置。 在常用的代理建模技术中，如径向基函数(RBF)、人工神经网络(ANN)和多项式混沌扩展(PCE)、高斯过程(GP，也称为Kriging)代理模型能够用相对稀疏的训练数据精确地逼近高度非线性响应，如许多应用所示。 此外，GP模型还提供了设计空间中任意点的预测均值和预测不确定性，证明了该模型在计算EI时是方便的。 在这里，我们使用了一个名为贝叶斯混合建模(BHM)的GE内部工具，它是一个不确定性量化框架，提供了许多有用的概率和统计分析能力，包括模型校准、代理建模、全局灵敏度分析、差异建模和预测。 BHM通过基于贝叶斯定理和马尔可夫链蒙特卡罗(MCMC)抽样方法估计系数来构造GP模型。

4.2EI函数
本文采用了基于超体积（hypervolume）的EI方法。
一维情况下的计算公式为：

基于HV计算加入目标值为f的改进度I(f)计算公式为：

使用改进度I(f)后的EI(f)计算公式

为了保证稀疏行，即解的多样性，文章在原EI的基础上加了一个P1,尽量使新加的点f离原集合中的点有一定距离。

4.3处理约束
本文使用了两个方法处理约束。

第一种：
建立代理模型来预测目标和约束。 然后使用预测的约束值来惩罚预期的改进函数。 由于我们使用高斯过程代理模型，预测约束函数中的不确定性用高斯分布表示，这可以用来计算DOE点是可行的或不可行的概率。 对于本研究中证明的数值例子，我们采用了下面中所示的惩罚函数公式。

其中λ是一个缩放参数，用于避免过度或不受惩罚。
第二种:
考虑人工神经网络分类器。在某些情况下，约束函数可以嵌入到黑匣子类型的模拟代码中，模拟返回一些基于可行性的惩罚值，甚至返回二进制输出（可行或不可行）。 由于惩罚值的不连续性，第一种方法可能不适用于这种情况。 因此，我们不直接使用代理模型逼近和预测约束函数，而是使用基于分类的方法来识别可行区域，并预测设计点是否可行。 分类是一个有监督的机器学习问题，分类器模型具有分类输出，通常用于标记数据集的类别。 在这里，我们考虑人工神经网络分类器，已经证明，如果有足够的数据，它能够逼近高维输入空间中的高度非线性决策边界。

5.实验

第一个：无约束问题 Fonseca and Fleming function
问题如下：

随机生成50000个点

其中红色的为真实的Pareto前沿，蓝色为生成的点

选择前两维度进行可视化

其中，红点为最优解集。

使用智能采样后的解

对比GA-MOOP算法，IDACE降低错误率的评估次数明显更少。

第二个：带约束的多目标优化问题 Osyczka and Kundu function


第三个：一个工程设计优化问题

6.总结

本文提出了一个智能采样框架BHM/IDACE来解决高维设计空间中的多目标优化问题，无论有无约束。
该框架是基于贝叶斯优化的概念开发的，其中代理模型预测中的不确定性是用贝叶斯推理来量化的，并用于实现勘探和开发之间的权衡。 该框架具有四个组成部分：
（1）贝叶斯GP代理建模技术，该技术能够用相对较小的训练数据集逼近高维空间中的非线性响应函数和相关不确定性；
（2）基于超体积的期望改进(EI)公式和有效的数值实现；
（3）全局优化器，以最大限度地利用EI函数；
（4）使用公式或神经网络进行约束处理。
通过两个数学例子和一个实际的工程设计优化问题，证明了BHM/IDACE的能力，与传统的MOGA（多目标遗传算法）方法相比，BHM/IDACE可以实现训练数据集的80%-90%的减少。

返回贝叶斯优化优秀论文总结目录