(顶刊)基于目标与变量联合建模的分布算法的多目标估计

Multi-objective Estimation of Distribution Algorithm Based on Joint Modeling of Objectives and Variables

1.摘要

提出了一种基于目标和变量联合建模的多目标估计算法。该EDA使用多维贝叶斯网络作为其概率模型。这样，它就可以捕获目标、变量和目标之间的依赖关系，以及在其他基于贝叶斯网络的EDA中学习到的变量之间的依赖关系。该模型导致了问题分解，帮助该算法找到多目标问题的权衡解决方案。除了帕累托集近似外，该算法还能够估计多目标问题的结构。为了将该算法应用于很多的目标问题上，该算法包括了文献中提出的四种不同的排序方法。
将该算法应用于游鱼群(WFG)问题集，并与进化算法和多目标EDA的优化性能进行了比较。实验结果表明，该算法在许多问题和不同的目标空间维数上表现显著更好，在一些问题上与其他算法取得了类似的结果。

2.介绍

我们常用多目标进化算法求解多目标问题，但这篇文献The Design of Innovation: Lessons from and for Competent Genetic Algorithms指出，在特定问题上传统的进化算法可能会在优化的时候遇到困难。于是出现了Estimation of distribution algorithms (EDAs) [7]–[10]算法。在引文[11]–[14]中也将其用到了many-objective问题上。
这些算法没用到遗传算子，而是从一个概率模型中生成新的候选解决方案，这是从一组有前途的解决方案中学习到的。概率模型捕获了问题变量值和这些变量之间重要依赖关系的某些统计数据。
在MOEA里一个重要问题是目标数量的增多后，问题规模将会变得很大。为此，提出了不同的方法，如相关性和主成分分析[17]-[21]，扩展了冲突目标[22]的定义，并提出了线性规划[23]。这些方法通过搜索目标的最小子集来降低优化的复杂性。
在本研究中，我们建议在EDA的上下文下学习目标和变量的联合概率模型。这使得算法不仅可以捕获变量之间的依赖关系，与其他EDA一样，还可以学习目标之间以及目标和变量之间的关系。
所学到的关系可能具有比线性相关性更复杂的相互作用模式。然后，算法将这些关系隐式地用于在搜索空间中生成新的解决方案。除了在帕累托集近似中获得的解集外，在该EDA中学习到的联合概率模型还为决策者提供了MOP结构的近似值，即MOP中变量和目标之间的关系。所学到的关系可能具有比线性相关性更复杂的相互作用模式。然后，算法将这些关系隐式地用于在搜索空间中生成新的解决方案。除了在帕累托集近似中获得的解集外，在该EDA中学习到的联合概率模型还为决策者提供了MOP结构的近似值，即MOP中变量和目标之间的关系。
这篇文献里有讲到本文的初步研究Multi-objective optimization with joint probabilistic modeling of objectives and variables，在本文中，我们利用一个基于多维贝叶斯网络(MBN，a multi-dimensional Bayesian network)的特定概率建模，进行了进一步研究。
MBN通常用于多标签分类任务[25]，[26]。在这类问题中，每个实例或数据点都可以有几个类标签。然后，学习一个概率模型的目标是预测新的看不见的数据点的类标签。另一方面，在使用EDA的多目标优化中，搜索空间中的每个解决方案都有几个目标值，其目标是从具有更好目标值的概率模型中生成新的解决方案。显然，这两个问题之间存在相似之处，它们促使使用MBN来捕获变量和目标之间的关系。为此，目标在概率模型中被建模为类变量，并利用模型中目标和变量之间学习的依赖关系来生成新的解决方案。利用这种模型估计，可以系统地得到MOP的结构，并且该算法可以应用于多目标问题。本文研究了该算法使用不同的排序方法在多目标问题上的表现，并研究了该算法得到的一些MOP结构。
在基于贝叶斯分类算法(EBCOA)[27]，[28]中，使用贝叶斯网络分类器作为EDA的概率模型进行单目标优化。然而，EBCOA与本文算法之间有几个关键的区别。
首先，MOP中存在多个目标，这增加了有关建模过程中应解决的解决方案的质量（可能存在矛盾）的信息。其次，连续的目标值直接用于模型学习，而不是将解分类为不相交的类，这可能会模糊解决方案质量的差异。第三，与目标和变量之间的固定依赖关系不同，这里提出的算法可以动态地学习目标和变量之间的关系。通过这种方式，模型可以选择对每个目标都有更大影响的变量子集。

3.预备知识

$A$. 分布算法的估计

在进化算法中用于生成新解的传统遗传算子几乎盲目地行动，很有可能破坏迄今为止发现的好的解，这将影响优化的收敛性。
分布算法可以利用概率模型来取代遗传算子，以克服这一缺点。
一个典型的EDA的算法框架如下图所示：

可以看到它与传统的进化算法的区别是把遗传算子变成了采样分布估计算法的方法。
分布估计算法会借用一个概率代理模型的方法来生成新解，所以选用的概率代理模型关系很大。代理模型会编码变量之间的依赖关系，它们可以使用这些变量在采样过程中识别和保留这些依赖关系。贝叶斯网络（见下文）是这些概率模型之一，它可以编码任意数量的变量之间的依赖关系。因此，使用这个概率模型的EDA可以应用于具有高度相关变量和复杂结构的问题。

$B$. 多维贝叶斯网络分类器
贝叶斯网络[31]是多元概率图形模型，由两个组成部分组成：

• 网络结构，该结构由有向无环图(DAG)表示，每个节点和弧有其各自意义，后面见图讲。
• 网络参数，表示变量的条件概率，即在前一个父节点的条件下后一个类别的概率，详见后文。

下图展示了一个用于多标签分类的MBN结构的示例：

如果一个数据点只属于一类，那用公式可以表示为：

其中$x_1-x_n$表示父节点。

如果一个数据点可以同时属于几个(如m)类，那么可以学习一个多维贝叶斯网络(MBN)来执行多标签分类，结构见上图，其中后验概率可以表示为：

在上图中，红色节点表示类节点，蓝色节点表示特征节点。

其中弧结构可以分成三个部分：

• 包含类节点及其之间的交互作用的类子图，代表类之间依赖
• 包括特征变量及其关系的特征子图，代表变量之间依赖
• 描述了从类节点到特征节点的单向依赖关系桥接子图，代表目标对变量的依赖

概率模型可以回答以下问题：

1.给定一个解，预测各个目标的值
2.对于给定目标值组合，最可能的解
3.给定一个解输入变量子集和目标变量子集中各变量值，余下变量可能的值
4.给定一个目标变量子集中各变量的值，余下目标可能的值

$C$. 高斯贝叶斯网络

贝叶斯网络从一组变量中学习，以多元高斯分布$p=N（\mu ，\Sigma ）$作为其联合概率函数，这被称为高斯贝叶斯网络Gaussian Bayesian network (GBN)。这里，µ是平均向量，Σ是分布的协方差矩阵。

高斯贝叶斯网络的结构类似其他贝叶斯网络。它通过给定父变量的值，网络的参数为每个节点对应的变量定义了一个条件（线性的）高斯分布，表示为：

其中${\mu }_i$是变量$X_i$的平均值，${\nu }_i$是单变量条件分布的标准差，回归系数$w_i$规定了每个父节点的重要性。

4.$MBN-EDA$

$A$.变量与目标的联合建模

在EDA中，常见的做法是估计只训练选定解决方案的特征集对应的问题变量的概率模型（见上面算法EDA）。采样算法将根据从$S_t$的解收集的统计数据，从该模型生成一组新的解决方案。除此之外，$U_t$的解决方案无需具有与$S_t$的更好或可比较的目标值。
为了扩展到多目标，我们会将目标也加入变量里建模。这尤其适用于MOP，因为有多个目标，可以提供有关解决方案质量的信息。在这项研究中，我们表明，这种类型的信息由概率模型处理，被证明是有用的。
目标和变量的联合学习也为估计MOP变量与目标之间的关系提出了一种新的方法。
这些关系可以利用优化算法来促进搜索，只关注影响目标值的变量。因此，正在对每个目标进行一个隐式的变量选择（即可以降低决策变量的维度）。此外，目标之间的关系也被捕获，有助于使用模型中编码的条件独立关系，识别某些目标的值可能如何与其他目标的值发生变化(既目标之间在解的某些变量取值下的影响，甚至冲突可以被捕获)。

$B$.一种基于MBN估计的EDA

本文中变量被建模为特征节点，目标被建模为连续值类节点。特征子图中变量的依赖关系使用EDAs进行学习，该EDAs使用贝叶斯网络作为其概率模型。
桥子图显示了每个目标和变量之间的相互依赖关系，而类子图表示了目标之间的直接关系。
然后，像任何其他贝叶斯网络一样，学习到的MBN编码了其组成变量的联合概率分布的因式分解。本文给出了该MBN的联合概率分布：

在这要满足：

该算法被称为MBN-EDA，利用该概率模型来捕获所选解的特征及其目标值，并为MOP生成新的候选方案来寻找Pareto最优解。下图为算法的结构：

如上图，我们使用非支配排序+截断选出一个子集，然后用该子集训练一个多维贝叶斯网络，再用该网络生成新的候选解。最后我们根据替换机制将新的解决方案加入种群。

C. 针对精英保留方式的解排序

一般来说，多目标下我们会用非支配排序来对解进行排序，然而有文献已经指出，当目标数量越来越多时，该效率会下降。为此本文采用了一些方法 [44]–[47],来解决该问题。

具体我们计算4个指标：

1.各目标值加权求和，其中$w_i$为第$i$个目标的权重，$q_i$为第$i$个目标值

2.与最优解的距离，假如我们知道问题的多个目标最优解都为0，则我们计算的是解到原点的距离

3、相对于其它解的目标改进，$q$为当前解，$r$为种群中除了当前解外的任意解


4.解$q$相对于其它解的改进与其它解相对于解$q$的改进差

最后本文的MBN-EDA使用截断选择（即选出百分之几的子集）选择种群子集。

$D$.使用概率模型的遗传算子

1)评估概率模型

本文使用了搜索+计分的策略进行Bayesian网络结构学习和模型。
其中采用了一种贪婪的局部搜索算法。在每次迭代中，该算法权衡所有可能的弧添加、删除和反转操作，将当前网络结构映射到新的有效结构(根据MBN结构约束)，然后使用将导致网络得分最高增加的网络结构。
贝叶斯信息准则(BIC)[53]用于对可能的MBN结构进行评分，该评分基于惩罚对数似然测度，公式如下：

其中$x_{ki}$和$q_{kj}$分别是第k个联合解中变量$X_i$和目标$Q_j$的值。惩罚项将会使得连接尽量少。
这类MBN的参数是根据对变量和目标的联合向量所估计的多元高斯分布(MGD)的平均向量和协方差矩阵计算出来的。通常使用最大似然估计来从数据中估计MGD（平均向量和协方差矩阵）的参数。然而，当数据集没有提供足够的统计量时，该方法不能得到参数的鲁棒估计，特别是应该是对称的和正定的协方差矩阵的鲁棒估计。在我们的例子中，由于解是通过附加目标值来扩展的，所以这个问题会变得更糟。
本文的MBN-EDA利用协方差收缩估计[56]来改进变量和目标的联合向量对MGD的估计。在该方法中，协方差矩阵的最大似然估计与参数数较小的较简单的目标矩阵线性相结合。更具体地说，在所有非对角项中具有零的对角矩阵作为目标，以加强对稀疏矩阵的收缩，同时保持对角元素（方差）不变，防止多样性的早期损失。

这里，T表示目标矩阵，λ是收缩强度（也称为正则化参数），可以通过最小化均方误差损失函数，以数据驱动的方式进行解析计算。。在实践中，使用相关矩阵的ML估计来计算指定的对角目标矩阵的收缩强度。在上式中的正则化估计导致了一个统计上更有效的协方差矩阵，它是良好的条件和正定的，作为计算MBN参数的必要条件。有关将正则化技术应用于连续EDA的模型学习的更多详细信息，请参阅[57]。

2)生成新解
MOP的新候选解决方案可以从MBN中编码的概率分布中采样。概率逻辑采样[58]，也被称为正向采样，是贝叶斯网络采样的常用方法。该方法首先得到了网络上的父节点。
按照这个顺序，每个节点根据贝叶斯网络结构出现在其父节点之后。因此，由于网络图在模型学习中的限制，所有目标节点在MBN的拓扑顺序中出现在变量节点之前。通过对MBN中的每个节点进行评估，我们可以对条件概率分布进行采样，得到新的解。
由于所有节点i的父节点都按顺序出现在节点i之前，因此在采样节点i时，其所有父节点都已经被采样，因此可以计算该节点的条件分布的参数。
由于在MBN中对目标和变量的联合建模，在采样过程中，任何有关良好目标值的信息都可以插入并在网络中传播，从而增加产生导致这些目标值的变量值的概率。此外，MBN网络图中弧方向施加的限制减少了无关数据[59]导致的解的数量。
本文所采用的方法将目标节点视为正常节点，并使用MBN中编码的概率为这些节点生成新的伪值（因为它们不是从目标函数计算出来的）。这样，在采样过程中也考虑了目标之间在模型学习过程中捕获的相互依赖性。当一个具有一些目标节点作为其父节点的变量节点被采样时，这些伪目标值被用于计算条件分布的参数。为目标生成的值是在模型中为选定解决方案的目标值所编码的特征的近似值。因此，该方法可以提高采样解与学习到的MBN的符合性。

5.实验

本文算法使用EDAs(MatEDA)[60]的Matlab工具箱实现，MBN学习算法的实现改编自GBN学习[61]提供的代码。

在学习MBN之前，首先将训练数据（扩展解决方案）标准化，使平均值为0，标准偏差为1，以便通过减少每个节点中的参数数量来简化学习过程。学习算法在达到分数函数的局部优化后，在达到最大数量的节点分数评估后，从一个新的随机结构重新启动结构搜索。该算法最终返回了在所有这些子搜索中得分最高的网络。（注意这些前文没提）

为了更好地评估MBN-EDA的优化性能，本文将结果与另外两种算法进行了比较：多目标进化算法(MOEA)和多目标EDA。

MOEA使用连续域中的模拟二叉交叉[62]和多项式突变[63]作为其遗传算子生成新的解，并作为许多进化多目标优化研究[5]，[64]的标准参考算法。

多目标EDA，即基于规则模型的多目标EDA(RM-MEDA)[13]在几个基准函数上的表现优于许多MOEA。

RM-MEDA假设Pareto集具有一定类型的平滑性，并迭代地应用局部主成分分析来构建一个维度为m−1的片状连续流形(m是目标数)。然后用于高斯噪声来产生新的解。

上述四种排序方法（方程(4)-(6)和(8)）在一个选择引擎中实现，该引擎插入这些算法中。由于在黑箱优化方案中，没有一个目标优先于其他目标，因此在加权和排序方法(GWS)中的所有目标都使用相同的权重。

为了允许组合可能具有不同范围的不同目标的值，在应用排序方法之前对所有目标值进行规范化。MBN-EDA和MOEA使用与在替换步骤中的选择使用相同的排名方法。RM-MEDA没有替代步骤，新生成的解决方案完全取代了整个种群。

A. MOPs

在[65]中回顾了文献中许多可用的MOP基准，在此基础上提出了一组称为鱼群(WFG)问题的MOP。这些问题包含了一套在现实模型模型中可以找到的各种属性，因此，为任何多目标优化算法提出了实质性的障碍。鱼群问题的每个目标都定义如下：

其中$D$和$S_j$是比例因子，与函数$h_j（\cdot ）$一起决定了pareto的形状（如凹、凸等）。具体该问题参考原文或引文65。
在本研究中，这些WFG问题所考虑的目标的数量为3、5、7、10、15和20，而变量的数量被设置为16（除了一些例外）。

B.实验性设计

每种算法将每种排序方法分别应用于目标数量不同的每个WFG问题。
因此，将有3×4×9×6可能的组合。
本文使用的指标是$I_{ϵ+}$,具体参考我的另一篇博客：多目标优化解决方案集的质量评估：回顾和综述（多目标领域下相当好的一篇文章）

C. 试验结果
实验参数如下：

实验结果略。

D. MOP结构估计

下图为估计结果：

如果实际问题需要用到该结构的话（即想知道变量和目标，变量和变量，目标和目标之间的关系的话）可以使用本文的估计算法。

6.总结

多标签分类和多目标优化之间的相似性激发了在EDAs的背景下使用MBNs来解决MOPs。本文提出了一种新的建模方法，利用MBN估计来学习目标和变量的联合模型，同时区分它们在网络中的作用。该模型不仅可以捕获变量之间的关系，如其他EDA之间的关系，还可以捕获变量和目标之间以及目标之间的关系。所提出的MBN-EDA能够利用MBN中编码的这些新关系，并隐式获得MOP的分解，用于生成新的解决方案。

返回贝叶斯优化优秀论文总结目录