论文研读_一种针对大规模稀疏多目标优化的多粒度聚类进化算法(MGCEA)精简版

论文研读_一种针对大规模稀疏多目标优化的多粒度聚类进化算法(MGCEA)

• 此篇文章为Amulti-granularityclusteringbasedevolutionaryalgorithmforlarge-scale
  sparsemulti-objectiveoptimization的论文学习笔记，只供学习使用，不作商业用途，侵权删除。并且本人学术功底有限如果有思路不正确的地方欢迎批评指正!

创新点

1. 提出了一种多粒度变量聚类方法。在优化之前，该方法通过多区间采样将所有决策变量分类为 非关键变量 和 关键变量 ，其中非关键变量可能为零，而关键变量则不会。在每一代中，该方法将所有决策变量分为具有不同零概率的多个层次。通过在优化过程中逐渐增加层数，可以在早期世代更有效地探索决策空间，在后期世代更好地利用决策空间。
2. 提出了一种 非均匀交叉操作符 和 层变异操作符 。交叉操作符根据两个父代解的稀疏度确定每个二进制变量的值，稀疏度更高的父代更有可能被选中，从而确保后代的稀疏性。依赖于聚类结果，变异操作符同时以不同的概率翻转每层的二进制变量，当层数较少时可以全局减少种群的稀疏性，当层数较多时可以局部微调稀疏种群。

本文的其余部分安排如下。第2节介绍了与稀疏多目标优化相关的基本概念、现有的稀疏MOEAs以及变量聚类方法，并阐述了本工作的动机。第3节详细描述了所提出的算法。第4节在基准和真实世界的SMOPs上进行了比较实验。最后，第5节提供了结论和未来工作的展望。

相关工作

稀疏多目标优化

无约束多目标优化问题可以在数学上定义为

其中 𝐱 表示包含 𝑑 决策变量的解， 𝐹(𝐱) 表示包含 𝑚 目标值的目标向量。如果解 𝐱 和解 𝐲 满足 𝑓_𝑖 (𝐱) ≤ 𝑓𝑖 (𝐲) 对于每个 𝑖 ∈ {1,…, 𝑀 } 且 𝑓_𝑖 (𝐱) < 𝑓_𝑖 (𝐲) 对于至少一个 𝑗 ∈ {1, …, 𝑀 }，据说𝐱支配𝐲。

求解方程的目标(1) 是寻找一组多样化的 Pareto 最优解，该解不受决策空间 中任何解的支配。

如果决策变量的数量 ( d ) 超过 100 ，上述问题被称为大规模多目标优化问题 （LMOP） ，如果大多数决策变量需要优化为零，则称为 SMOP 。尽管现有的MOEAs能够妥善解决 LMOPs 和 SMOPs ，但在许多真实世界场景中，解决大规模 SMOPs 更为困难。首先，在解决LMOPs时需要消耗大量的函数评估[8]，但在解决许多真实世界场景中的 SMOPs 时，这是无法承受的。其次，通用变异操作符在解决 SMOPs 时能找到一些零变量，但它们遇到了维度的诅咒，在生成具有许多零变量的解决方案时效果不佳[6] 。因此，为了在高维决策空间中寻找稀疏最优解，已经定制了新策略，将其整合的进化算法被称为稀疏MOEAs。

动机

现有的稀疏 MOEA 基于两个主要思想生成后代解决方案。

如图 1（a）所示，第一个想法根据为零的概率翻转单个二元变量，该概率是根据从初始群体和当前群体估计的引导向量计算的。

如图 1（b）所示，第二种想法将二元变量分为多个组，并翻转随机选择的组中的所有二元变量。显然，第一个想法更喜欢利用，因为每次只更改一个或几个二进制变量，而第二个想法更喜欢探索，因为随机选择的一组二进制变量同时更改。

为了在开发和探索之间取得更好的平衡，如图 1（c）所示，所提出的算法旨在将二进制变量划分为多个层而不是等价组，其中各层为零的概率不断增加。因此，要翻转的层是启发式选择的，而不是随机选择的。这个想法并不简单，因为需要考虑一些关键问题，包括层数的确定、二元变量的聚类以及为零概率的计算。因此，该算法提出了一种多粒度变量聚类方法，可以自适应地解决上述问题，以辅助稀疏最优解的逼近。

• 图 1. 用于求解 SMOP 的不同变异算子的说明性示例。

算法

MGCEA 主程序

• 图 2. 所提出的 MGCEA 的一般流程，具有三个核心组件，包括多间隔采样（将决策变量分为非关键变量和关键变量）、多粒度聚类（将决策变量分为多层，并增加为零的概率） ，以及非均匀交叉和层变异（根据聚类结果生成解决方案）。

所提出的基于多粒度聚类的进化算法（MGCEA）的流程如图 2 所示，其中三个新颖的组件构成了 MOEA 的总体框架。

第一个组成部分是 多区间抽样 ，它生成初始总体并将所有决策变量分为非关键变量和关键变量以进行进一步聚类。

第二个组成部分是 多粒度聚类 ，它将所有决策变量划分为不同数量的层，其为零的概率不断增加。

第三个组成部分是 交叉 和 变异 算子，它们根据 解的稀疏性 和 聚类结果 生成后代解。这些新组件协作生成稀疏解决方案，在开发和探索之间实现动态平衡，以提高效率。

• MGCEA主程序的伪代码在算法1中呈现，它从提出的多区间采样开始，用于生成 ( N ) 个初始解并划分所有决策变量（第1行）。
• 在每一代中，首先从当前种群 ( P ) 中选出 ( 2N ) 个父代解，使用SPEA2 [38] 的交配选择策略（第4行），即基于支配关系和欧几里得距离测量的适应度的二元锦标赛选择。
• 然后，使用提出的 多粒度聚类 方法，将所有决策变量划分为 若干层（第5行）。
• 聚类结果指导后代种群 ( Q ) 的生成，通过所提出的交叉和变异操作符实现（第6行）。
• 之后，将后代种群 ( Q ) 与当前种群 ( P ) 结合，使用SPEA2的环境选择策略保留 ( N ) 个解（第8行），即基于支配关系和截断的选择。
• 最后，在所有函数评估耗尽后，返回 ( P ) 作为输出。
  在以下小节中，将详细阐述MGCEA的三个新颖组成部分。

1 多区间采样，有利于提高多样性

所提出的多间隔采样将所有决策变量分为非关键变量和关键变量，其中前者更有可能为零，后者更可能非零。此外，在此过程中生成的所有解构成一个初始种群。如算法 2 所述，使用一个向量 𝑆𝑐𝑜𝑟𝑒 来表示决策变量为零的概率，该向量是通过对每个决策变量在 𝑁𝑉 𝑎𝑙 个区间内的扰动构建的。

具体来说，决策空间 Ω 沿每个维度被 均等 划分为 𝑁𝑉 𝑎𝑙 个区间，并为每个区间生成一个矩阵 𝑅 ∈ R^𝑑×𝑑 ，其第 𝑖 列的元素是在第 𝑚 个区间内随机采样得到的。

其中 𝑙𝑜𝑤𝑒𝑟_𝑖 和 𝑢𝑝𝑝𝑒𝑟_𝑖 分别是第 𝑖 个决策变量的下界和上界。获得每个区间的 𝑅 之后，生成一个 𝑑×𝑑 的单位矩阵 𝐵 ，并得到一个矩阵 𝑋 ∈ R^𝑑×𝑑 ，其中 𝑋_𝑗𝑖 = 𝑅_𝑗𝑖 × 𝐵_𝑗𝑖 。

具体来说，每个解的实数向量元素被设置为随机值，而二进制向量掩码的元素被设置为 0 ，除了掩码中第 𝑖 个解的第 𝑖 个元素被设置为 1 。通过这种方式，通过选择 𝑋 的每一行作为一个解，得到一个种群 𝑄 ，其中第 𝑖 个解仅在第 𝑖 维度上包含单个非零变量。之后， 𝑄 中的 𝑑 个解通过 非支配排序[39] 进行排序，所有解的非支配前沿数字存储在 𝑆𝑐𝑜𝑟𝑒 中。因此，一个决策变量的分数表明它应该被设置为 零 的概率，其中更高的分数可能表明该决策变量应该被设置为 非零 的概率更大，因为更高的非支配前沿数字表明解的质量更差，反之亦然。

更具体地说， MGCEA 使用 𝐾 均值方法根据 𝑆𝑐𝑜𝑟𝑒 将所有决策变量分为两组，

其中 𝑆𝑐𝑜𝑟𝑒 值较小的变量组是关键的， 𝑆𝑐𝑜𝑟𝑒 值较大的变量组是 非关键的。

算法 2 的输出是一个向量 𝑇 𝑦𝑝𝑒 ，表示每个变量是否关键，其中 𝑇 𝑦𝑝𝑒_𝑖 = 1表示第 𝑖 个变量是关键的且更可能非零，而 𝑇 𝑦𝑝𝑒_𝑗 = 0 表示第 𝑗 个变量是 非关键的 且更可能为 零 。与为所有变量分配不同的 𝑆𝑐𝑜𝑟𝑒 值相比，使用 𝑇 𝑦𝑝𝑒 大致将所有变量分为两组，在优化过程中进一步划分，这减少了贪婪性，因为认为初始化步骤中获得的 𝑆𝑐𝑜𝑟𝑒 与最优稀疏分布存在差异。

差异

虽然现有的稀疏多目标进化算法（MOEAs）[1,25] 中已提出计算 𝑆𝑐𝑜𝑟𝑒 的方法，但在所提出的 MGCEA 中计算 𝑆𝑐𝑜𝑟𝑒 的思路本质上有所不同。首先，现有的 MOEAs 是基于在整个决策空间采样的单一种群来计算 𝑆𝑐𝑜𝑟𝑒 ；相比之下， MGCEA 在每个 𝑁𝑉 𝑎𝑙 区间内采样 𝑆𝑉 𝑎𝑙 个种群，并根据所有 𝑆𝑉 𝑎𝑙 × 𝑁𝑉 𝑎𝑙 种群的排序结果累积 𝑆𝑐𝑜𝑟𝑒 。显然，对不同区间中更多解的采样可以更好地减轻随机性的影响，从而更准确地估计变量为 零 的概率。其次，在现有的MOEAs中， 𝑆𝑐𝑜𝑟𝑒 指导子代生成，但在 MGCEA 的初始化步骤中，它被用来识别 非关键 和 关键变量。

只取重要的决策变量用来计算

2 多粒度聚类，前期提高多样性，后期提高收敛性

在每一代生成后代解之前，所提出的多粒度聚类被用来将所有决策变量划分为多个层次，这些层次中变量变为零的概率逐渐增加。

根据算法3，首先基于当前种群计算每个变量的 稀疏度 ：

在这里， 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦𝑖 指的是第 𝑖 个变量的稀疏度，而 𝑝𝑏𝑖 是种群 𝑃 中解 𝐩 的二进制向量中的第 𝑖 个变量。接着，所有决策变量按照 𝑇𝑦𝑝𝑒 + 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦 的降序排列，其中 𝑇𝑦𝑝𝑒 ∈ {0, 1}𝑑 作为主要因素， 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦 ∈ [0, 1]𝑑 作为次要因素。基于决策变量的排名，它们被划分为大小相等的多个层次，层次的大小是自动确定的，其中 |𝑇𝑦𝑝𝑒| 表示向量中 1 的数量， 𝜆 是已消耗评估的比率。

==算法 3 的输出是一系列层次 𝐿𝑎𝑦𝑒𝑟𝑠 ，其中前面层次的变量更有可能为 1 ，而后面层次的变量更可能为 0 。==此外，为了减轻计算负担，当消耗的函数评估次数的 十分之一 时，执行算法 3 。

所提出的 MGCEA 在变量聚类中涉及到两个因素： 𝑇𝑦𝑝𝑒 和 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦 。其中， 𝑇𝑦𝑝𝑒 是提前获得的，用于大致将所有变量分为两组；而 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦 则在每一代更新，以便更细致地区分变量。

多粒度聚类的新颖之处在于两个方面：

• 前期提高多样性

  首先，变量的划分是根据 𝑇𝑦𝑝𝑒 + 𝑆𝑝𝑎𝑟𝑠𝑖𝑡𝑦 的降序排列，而不是它们之间的 相似性 ，从而产生 多个层次 而 非群组 。对于后代生成，获得的层次不仅减少了决策空间的维度，而且指导二进制向量的优化，因为不同层次的变量变为 零 的概率各不相同。

• 后期提高收敛性

  其次，随着已消耗评估的比率 𝜆 的增加，层次的大小逐渐减小，因此可以在早期代更有效地探索决策空间，在后期代更好地利用它。例如，在解决具有 1000 个变量和 0.1 稀疏度的 SMOPs 时，每层的决策变量数量将从 100 减少到 1 ，这可以通过翻转拥有许多变量的层，在早期代快速逼近有前景的区域，并且可以在后期代通过翻转只有少数变量的层，精细调整有前景的解决方案。

3 交叉和变异算子，提高多样性

基于聚类结果，所提出的 MGCEA 推荐使用 非均匀交叉算子 和 层变异算子 来生成后代解决方案的 二进制向量 ，并采用 常规算子 生成后代解决方案的 实数向量 。如算法 4 所述，每次生成一个后代解决方案时，会从配对池中随机选择两个父代解 𝐩 和 𝐪 。所提出的 非均匀交叉 将后代的二进制向量 𝐨𝐛 设置为与其中一个父代二进制向量 𝐩𝐛 相同，然后按照以下概率将 𝐨𝐛 的每个变量设置为与另一个父代二进制向量 𝐪𝐛 相同：

因此，如果 𝐩𝐛 比 𝐪𝐛 更稀疏，变量被翻转的可能性就会降低，反之亦然。

以 𝐩𝐛 = (1, 0, 0, 0, 0) 和 𝐪𝐛 = (1, 0, 1, 1, 1) 为例，当使用 均匀交叉 时， 𝐨𝐛 中变量为 1 的概率是 1, 0, 0.5, 0.5, 0.5 ；而使用所提出的 非均匀交叉 时，这些概率分别是 1, 0, 0.2, 0.2, 0.2 。这样，后代解决方案的稀疏性就可以得到保证。

提出的层变异接着在 𝐨𝐛 上进行，其中 𝐨𝐛 的二进制变量逐层更新。

具体来说，索引 𝑃𝑜𝑖𝑛𝑡𝑈𝑝 初始化为 1 ，索引 𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛 初始化为 |𝐿𝑎𝑦𝑒𝑟| ，其中 𝑃𝑜𝑖𝑛𝑡𝑈𝑝 会逐渐增加，所有在 𝐿𝑎𝑦𝑒𝑟𝑃𝑜𝑖𝑛𝑡𝑈𝑝 的变量变为 1 ，而 𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛 会逐渐减小，所有在 𝐿𝑎𝑦𝑒𝑟𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛 的变量变为 0 。这与层级变为 0 的概率逐渐增加的事实是一致的。在每次迭代中，变异算子以 0.5 的概率或者 𝑃𝑜𝑖𝑛𝑡𝑈𝑝 > 𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛 的条件终止，否则它执行以下两个操作之一，且概率相同：

1. 从𝐿𝑎𝑦𝑒𝑟𝑃𝑜𝑖𝑛𝑡𝑈𝑝中选出一半在 𝐨𝐛 中为 0 的变量，将这些变量设为 1 ，并将 𝑃𝑜𝑖𝑛𝑡𝑈𝑝 增加 1 。

2. 从𝐿𝑎𝑦𝑒𝑟𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛中选出一半在 𝐨𝐛 中为 1 的变量，将这些变量设为 0 ，并将 𝑃𝑜𝑖𝑛𝑡𝐷𝑜𝑤𝑛 减少1。

通过这样做，可以根据层级的排名同时翻转多个变量，其中排名与变为 0 的概率正相关。最后，后代实数向量 𝐨𝐫 通过基于父代实数向量 𝐩𝐛 和 𝐪𝐛 的模拟二进制交叉[22]和多项式变异[23]生成，由此产生了由 𝐨𝐛 和 𝐨𝐫 构成的后代解决方案。

非均匀交叉通过保持稀疏性来保持多样性，而层变异则通过改变后代解的特性来增加多样性