深度生成模型也可以来解决大规模动态多目标优化问题？（Matlab代码可获取）

---

标题：Adversarial AutoEncoder-Based Large-Scale Dynamic Multi-Objective Evolutionary Algorithm （基于对抗性自动编码器的大规模动态多目标进化算法）

文献基本信息

C. Li, G. G. Yen and Z. He, “Adversarial AutoEncoder-Based Large-Scale Dynamic Multi-Objective Evolutionary Algorithm,” in IEEE Transactions on Evolutionary Computation, doi: 10.1109/TEVC.2024.3412049.

Note: 论文代码已实现，关注并评论私发！

摘要

动态多目标优化问题（DMOPs）在实际应用中经常被扩展到大规模场景中，这不可避免地需要同时面对大规模搜索空间、动态环境变化和多目标冲突的三重挑战。这个文章提出了一种基于对抗自编码器的大规模动态多目标进化框架。该框架整合了深度生成建模技术和大规模多目标进化算法，以有效且高效地解决大规模DMOPs。具体而言，本文提出了一种针对高维决策变量的深度生成网络训练架构。该架构可以利用基于当前环境中帕累托最优解数据训练的生成模型，并通过提取历史帕累托最优解的移动轨迹的辅助信息，将其转移到新环境中，从而为新环境生成高质量的初始种群。同时，任何经过验证的大规模多目标进化算法都可以在无需大量修改的情况下集成到该框架中。实验结果表明，在从30到1000维的典型动态多目标测试套件问题设置中，所提出框架的优化性能优于现有的最先进设计。特别是在大规模场景中，所提出的框架在解质量和计算效率方面被认为具有显著优势。

---

一、研究背景

动态多目标优化问题（DMOPs）是指涉及多个冲突目标的优化问题，其中Pareto最优解集（POS）和Pareto最优前沿（POF）可能随时间变化。作为一类具有挑战性的优化问题，DMOPs需要开发和设计能够有效应对各种问题特征变化的算法，以便快速追踪和定位POS和POF。作为一种有前景的全局优化工具，多目标进化算法（MOEAs）已被扩展用于解决DMOPs，并开发了一系列动态多目标进化算法（DMOEAs）。

尽管已有大量关于DMOEAs的研究文献，但很少关注其可扩展性。事实上，在这些现有研究中，DMOPs决策向量的维数很少超过一百。相反，大规模DMOPs在实际应用中经常存在，其决策向量的维数通常超过数百或数千。例如，在灾难救援任务中部署大规模群体机器人通常涉及数百个决策变量，包括每个机器人的位置、速度、方向、姿态和负载。这要求算法同时优化这些决策变量，以最小化完工时间和能耗，最大化稳定性和通信能力，并快速响应预期和意外的环境变化。另一个大规模DMOP的例子是通过大规模管道网络传输天然气的经济最优控制。该系统包含数百甚至数千个压力节点。根据客户需求、市场波动和环境温度湿度等时变参数，需要调整每个节点中的压缩机和调节器，以维持管道系统中的压力和流量，满足供需平衡并减少能耗。事实上，还有许多类似的例子，包括大规模动态车辆路径问题、高维社交媒体的在线聚类和动态环境下航路网络中的大规模穿越点定位。

一般来说，当处理大规模动态多目标优化问题（DMOPs）时，需要充分考虑三种复杂性，即大规模、冲突的多目标和动态变化。与DMOPs相比，大规模DMOPs同时呈现出两个额外的问题特征，即庞大的搜索空间和有限的高维历史数据（POS/决策向量）。这些诱发的问题特征使现有的DMOEAs面临更大的挑战。首先，当检测到变化时，优化搜索需要在有限的时间内在庞大的搜索空间中重新开始。这不可避免地导致基于种群重新评估的DMOEAs在有限的计算资源下无法通过任何随机采样策略生成多样且收敛的初始化种群。此外，多样性增强和基于多种群的DMOEAs预计会消耗大量计算资源，以便在庞大的搜索空间中随时间保持高多样性种群，无论是否发生变化。这在现实世界场景中通常是无法负担的。其次，高维历史数据无意中增加了基于预测的DMOEAs用于跟踪POS的复杂性。例如，这些方法的时间复杂度涉及为每个维度建立独立的时间序列预测模型，随着决策变量维度数量的增加而呈多项式增长。此外，大多数基于预测的DMOEAs的性能依赖于训练模型的质量，这需要大量的训练数据以确保。然而，受制于维度灾难，MOEAs在有限时间内在每个静态环境中获得POS的能力随着问题规模的增加而迅速恶化。这反过来又导致在高维空间中尝试训练有效预测模型时面临挑战，因为训练数据有限。此外，作为基于预测的DMOEAs的一个专门分支，迁移学习驱动的方法也面临类似的限制。最近的研究结果表明，迁移学习驱动的方法需要在目标域数据中预先获取一些优秀的解，以便执行迁移过程，否则会导致严重的负迁移。现有研究工作倾向于使用预测模型或设计预搜索机制在新环境中获取一些高质量候选解作为目标域的训练数据。然而，在大规模DMOPs中，预测模型面临上述类似的限制，而设计的预搜索机制通常难以在庞大的搜索空间中以有限的计算资源找到新环境中的高质量候选解。

本文的主要贡献如下：

• 提出了一种从历史POS中提取辅助信息的方法。该方法将高维历史Pareto最优解的运动轨迹特征化为余弦角变化的趋势，具有一维、短期相关性和平滑性。此外，采用离散马尔可夫链预测器来跟踪余弦角的趋势作为辅助信息的来源。这种方法显著降低了从高维POS中提取辅助信息的复杂性。
• 首次提出了一种基于AAE的深度生成网络训练方案，用于大规模DMOPs。该方案可以通过仅使用当前环境中的少量Pareto最优解和提取的辅助信息，训练一个跨域生成的深度生成模型，从而为新环境生成高质量的初始化种群。

---

二、研究方法

在动态多目标优化问题（DMOPs）中，两个相邻环境状态的POS通常共享某些关系。基于上述假设，现有基于迁移学习的方法通常将新的环境 $(t+1)$ 中的POS定义为目标域，而当前环境 $(t)$ 中的POS被标记为源域。理想情况下，源域和目标域应有足够的训练数据，以确保从源域到目标域的迁移有效。然而，对于DMOPs而言，目标域中的数据是未知的，难以提前获取。

深度生成模型提供了一种可能的替代方案。在图像生成研究中，可以训练生成模型以适应不同的域，这仅通过语义辅助信息引导而无需看到任何图像。受此启发，我们认为在DMOPs中，历史POS可以作为辅助信息的主要来源。我们的目标是使用历史POS提供的辅助信息，将在源域中训练的生成器迁移到目标域。我们通过回答两个关键问题来实现这一任务：1）如何有效地从历史POS中提取有用的辅助信息？2）如何规范训练生成模型的优化过程，以在有限的训练样本下实现快速收敛和高质量的跨域生成？

为了更清晰地展示，提出的基于对抗自编码器（Adversarial AutoEncoder）的动态多目标进化算法（AAE-DMOEA）框架在算法1中概述。当环境变化发生时，给定任何验证过的MOEA，它可以被调用以为新环境输出高质量的初始种群。该框架由三个主要模块组成：提取辅助信息、训练生成模型和生成初始种群。这些模块旨在回答上述两个问题。

---

三、技术路线（子模块解释）

3.1 提取辅助信息（高维追踪标准为一维角度预测）

在具有规律可预测环境变化的动态多目标优化问题（DMOPs）中，历史POS被视为重要的先验知识来源 。在连续决策空间中，不同环境的POS显示出它们之间可追踪的运动轨迹。毕竟，历史POS和POF是底层物理系统在不同操作状态下的连续体现。这些在向量空间中的运动轨迹可以用两个相邻环境的Pareto最优解向量之间的差分来表示。例如，图1中Pareto最优解 $x_1$ 的运动轨迹表示为 { v 1 ( t − 2 ) , v 1 ( t − 1 ) , v 1 t } \{v_1^{(t-2)}, v_1^{(t-1)}, v_1^t\} {v1(t−2)​,v1(t−1)​,v1t​}。 其中差分向量$v_1^{(t-2)}=(x_1^{(t-2)}-x_1^{(t-3)})$。在几何上表示为 $x_1$ 从 $t-3$ 到 $t-2$ 环境的运动方向。此外，Pareto最优解的运动轨迹可以通过其角度变化趋势来表征。如图1所示， { v 1 ( t − 2 ) , v 1 ( t − 1 ) , v 1 t } \{v_1^{(t-2)}, v_1^{(t-1)}, v_1^t\} {v1(t−2)​,v1(t−1)​,v1t​}可以表示为 { θ 1 ( t − 1 ) , θ 1 t } \{\theta_1^{(t-1)}, \theta_1^t\} {θ1(t−1)​,θ1t​}。其中${\theta }_1^{(t-1)}=\cos (v_1^{(t-1)},v_1^{(t-2)})$表示的是两个差分向量的余弦角。因此，Pareto最优解的运动轨迹跟踪过程可以表征为由这些差分向量导致的角度变化的预测过程。

这样做有三个优势。首先，每个Pareto最优解通过其差分向量跟踪自身的运动轨迹。在时间序列建模方面，差异向量被认为是缓解原始数据非平稳性的重要手段。其次，通过计算这些差分向量的余弦值，可以将高维数据趋势的跟踪转化为一维数据趋势的跟踪。在建模复杂性方面，预测角度的趋势比预测高维样本数据的趋势要简单得多。第三，余弦角度由两个相邻的差分向量表征，不再依赖时间因素，从而减少了与其他时间状态的长期相关性。接下来，这个文章通过建立一个马尔可夫链模型来估计每个Pareto最优解的运动轨迹的角度趋势。这些预测的角度将作为辅助信息用于训练生成模型。这里只提供基本思路，算法的具体步骤可以参考原始文献。

3.2 训练生成模型（角度变化辅助下施加高斯分布到新环境具有最优解区域的分布上）

提出了一种基于对抗自编码器（Adversarial Autoencoder, AAE）的生成模型训练方法。该方法利用历史的帕累托最优解集（POS）和辅助信息（即预测的余弦角度值）来捕捉最优解的方向性变化，确保生成解与新环境中的最优解方向保持一致。在对抗训练过程中，编码器作为生成器，判别器负责区分真实数据与生成数据，通过两者的博弈和设计的迁移损失函数，来逐渐引导生成解的分布匹配新环境中具有潜在最优解区域的分布。这一方法通过限制生成解的方向，避免了无效的随机搜索，为大规模动态优化任务提供了一个有效的解决方案，使生成解集更具优质性与多样性。

---

实验

---

作者通过广泛的实验验证了提出方法的性能和效率，感兴趣可以参看原文。

总结

大规模动态多目标优化问题在真实世界场景中广泛存在。主要挑战在于环境变化后，难以在有限时间内从大规模搜索空间中追踪高维帕累托最优解集(Pareto Optimal Set, POS)的运动趋势。为此，本文提出了一种基于对抗性自动编码器(Adversarial AutoEncoder, AAE)的大规模动态多目标进化框架，它可以仅基于历史高维POS而不需要任何新环境的先验知识来训练一个基于AAE的深度生成模型，为新环境生成高质量初始种群。具体而言，设计提取辅助信息的方法，它将高维POS的运动轨迹表征为具有一维、短期相关性和平滑性的余弦角变化趋势，并采用离散马尔科夫链预测器来估计余弦角的未来趋势作为训练生成模型的辅助信息，该方法显著降低从高维POS提取辅助信息的建模复杂性。 设计基于AAE的深度生成网络训练方案，它仅通过当前环境中有限数量的高维POS和提取的辅助信息将新环境中具有潜在POS的局部区域映射到低维潜在空间，并通过对抗性网络将任意先验分布施加到潜码向量分布上，从而实现从先验分布的任何区域采样生成新环境中高多样性和收敛性的候选解 。实验结果表明，在包含30到1000维问题设置的典型动态多目标测试集上，所提出框架的优化性能优于现有的最先进设计。特别是在大规模场景中，所提出的框架在求解质量和计算效率方面表现出色。