2022，TEVC，Offline Data-Driven MOEA based on Generative Adversarial Network

---

Abstract

通常，数据驱动的多目标优化问题（DD-MOP）是通过进化算法通过建立的代理模型来间接解决的，该代理模型是根据样本数据进行良好训练的。然而，在大多数 DD-MOP 中，由于成本和时间难以承受，只能从实际工程实验中收集到少量可用数据。这种 DD-MOP 的关键挑战是防止所获得的近似 Pareto 前沿的精度严重恶化。在本文中，生成对抗网络（GAN）互补地施加了两种新颖的策略，即进化算法的关键适应性和代理模型的数据增强，以应对 DD-MOP 中的挑战。在临界适应度策略中，提出了一种新的临界适应度，由GAN判别器的临界分数和代理模型的预测值组成，以提高DD-MOP近似Pareto前沿的准确性。在数据增强策略中，GAN的生成器合成一些新样本，以构建训练更好的代理模型。如此一来，GAN 就同时充当了关键适应度策略和数据增强策略，扮演着“一石二鸟”的角色。所提出的 DD-MOP 算法的性能在 26 个基准问题上得到了充分验证，并成功应用于发现新的 NdFeB 材料。

I. INTRODUCTION

根据评价函数的建模，工程优化问题可大致分为模型驱动优化问题（MDOP）和数据驱动优化问题（DDOP）[1]。在MDOP中，可以通过基于物理或化学第一原理的正演建模技术来建立以数学分析形式表达的精确且直接的客观评价函数（或在进化计算界中称为适应度函数）。相反，在DDOP中，只能根据实验数据通过逆向方法（或黑盒建模方法）构建代理模型中表示的近似和间接客观评价函数。根据可用于构建近似代理模型的真实数据量，DDOP 可以进一步分为两类 [1]：在线 DDOP 和离线 DDOP。对于具有多个冲突目标（简称MOP）的优化问题，其对应的离线DDOP可以被识别为离线DD-MOP。由于广泛存在和技术挑战，离线DD-MOP是本文要解决的目标，而简单的在线DD-MOP相对留待稍后在另一个主题中研究。为了避免不必要的混淆，本文将DD-MOP称为离线DD-MOP。

DD-MOPs广泛存在于现实世界的工程应用中，因为它们的分析评价函数很难通过正演建模技术来制定，而它们的样本数据可以从实验或操作中收集。通常，DD-MOPs是通过进化算法通过从样本数据中经过良好训练的代理模型来间接求解的。为了求解DD-MOP，首先需要设计一个代理模型并根据其样本数据进行训练，然后执行优化过程以获得构成精心构建的多目标代理的近似Pareto前沿的最优解涉及冲突标准，例如模型复杂性和计算延迟。人们提出了许多方法来优化 DD-MOP 的代理模型，例如加权度量方法、价值函数方法和目标规划方法等。尽管数学规划方法或实验设计方法广泛应用于工程问题中以构建直接模型或间接代理。然而，他们很难构建多目标优化问题的模型（特别是具有多变量、非线性、断开性和约束等复杂特征的问题）。同时，通过传统的数学方法，例如梯度下降法，也很难解决这样的DD-MOP。然而，多目标进化算法（MOEA）被认为是优化现实世界应用的代理模型的最流行的技术[2]-[3]，因为它们具有强大的全局搜索能力，无需目标函数的微分计算。

人们提出了许多数据驱动的 MOEA（DD-MOEA）来解决工程 DD-MOP，包括创伤系统优化 [4]、空气通风设计 [5]、高炉优化 [6] 等等 [1]。总体而言，DD-MOEA 的主要工作集中在模型选择技术和数据增强方面，以提高替代模型的准确性。代理模型的质量可以通过多项式拟合[7]、Kriging模型[8]、径向基函数网络（RBFN）[9]、数学估计[10]和集成学习[11]-[16]来提高。此外，可以通过局部平滑方法[8]、数据挖掘技术[17]和数据增强方法[18]-[19]来提高样本数据的质量和数量。然而，当替代方法不够准确来近似其原始问题时，这些方法可能会失效。在这种情况下，适应度函数不适合仅由代理的预测值起作用。因此，当DD-MOP的代理预测用作进化过程中的适应度时，需要额外的估计机制来调节DD-MOEA中的适应度。

然而，在许多工程优化问题中，由于成本和时间难以承受，实际上只能从现实场景中收集少量可用的样本数据。例如，在12.5GHz广播卫星上运行的5×5微带贴片天线阵列的设计中，涉及最大化增益、最小化旁瓣电平和最小化反射系数三个目标，每个样本数据都通过商业软件（例如COMSOL）进行模拟、FEKO 或 IE3D 很容易就会消​​耗 26 小时，甚至更长的时间 [20]。尽管通过大数据在机器学习中取得了一些惊人的成就，但许多现实世界的工程问题可以归类为小数据问题[21]-[22]。通常，材料优化设计问题[23]-[24]属于此类小数据DD-MOP，因为只有小批量的实验样本数据（通常受到原材料、实验时间和成本的影响）才能有效地得到解决。根据材料领域知识和少量的“试错”实验获得。以NdFeB材料优化设计为例，需要同时优化剩磁Br和内禀矫顽力Hcj这两个冲突性能，且由于时间和成本不可接受而导致数据样本不足，详见第五节。

这种 DD-MOP 的关键挑战是确保 DD-MOEA 中进化算法的优化精度和代理模型的拟合精度。对于DD-MOEA，集成学习是一种有效的策略，通过组合多个代理模型的不同预测来提高所获得的近似Pareto前沿的准确性。然而，这些集成缺乏评估代理预测值置信度的机制，这反过来可能会误导进化搜索，巧合的是，生成对抗网络（GAN）[35]中存在一个名为鉴别器的重要组件，它可以根据数据分布量化样本与原始数据集的差异程度，从而方便地评估置信度得分。受 GAN 中判别机制的启发，本文提出了一种新颖的适应度评估策略，该策略由来自精心构建的代理的预测值和来自 GAN 判别器的关键分数组成，以提高 GAN 的优化精度DD-MOEA。在判别器评价分数的同时，用于构建 DD-MOP 代理的原始数据可以通过 GAN 生成器合成的合成数据一点点地增加。这样一来，GAN将同时为DD-MOP在关键适应度策略和数据增强策略中起到“一石二鸟”的作用。

为了解决上述挑战，提出了一种 DD-MOP 的多目标进化算法，通过 GAN 的辅助来更准确地逼近原始优化问题的适应度函数，并增加训练数据以提高拟合精度替代模型。本文的主要贡献可概括如下。

1）提出了一种关键的适应度策略来更准确地逼近原始优化问题的适应度函数，从而提高DD-MOEA的优化精度。通过结合 GAN 的临界分数和代理模型的预测值，可以将临界适应度函数重新设计为预测和临界分数的组合。通过这样做，可以充分利用来自原始数据的信息来访问来自代理的预测值的置信度分数，使得适应度函数在优化搜索期间可以更加可信。
2）在GAN的帮助下提出增强策略。利用生成器生成用于训练代理模型的合成数据。鉴别器的分数用于选择从生成器获得的数据。数据增强策略和选择方法有两个优点。一是合成数据具有与原始数据相同的分布和特征。另一个是选择方法可以帮助选择合适的数据来构建代理模型。此外，基于上述两种新策略设计了算法。通过与一些最先进的算法进行比较的实验来验证所提出算法的性能。
3）所提出算法的实际优化案例研究成功应用于多目标NdFeB材料优化设计。结果，在获得的近似Pareto前沿中发现了三种性能相当好的稀土NdFeB新材料，并通过实验室反复实验进行了验证。

本文的其余部分安排如下。相关工作在第二部分进行回顾。关键细节fitness策略和数据增强策略，以及基于 GAN (DDMOEA/GAN) 辅助的拟议算法将在第 III 节中描述。第四节介绍并分析了 DDMOEA/GAN 与一些选定的最先进 DD-MOEA 的实验结果。第五节阐述了 NdFeB 永磁材料优化设计问题的案例，作为 DDMOEA/GAN 的案例研究。结论在最后一节中得出。

II. RELATED BACKGROUNDS AND MOTIVATIONS

许多现实世界的问题通常涉及多个相互冲突的目标同时进行优化，通常称为 MOP。 MOP 的目标函数可以表示为

其中 $x$ 是 $D$ 维决策向量，$f_i(i=1,2,\dots ,M$, M 是目标数）表示第 $i$ 个目标函数，$F(x)$ 是目标向量原始优化问题。然而，由于实际工程应用中复杂的物理或化学过程，原始优化问题通常无法表述。由于时间或成本难以承受，通过昂贵的实验只能获得少量可用样品。因此，DD-MOP 的目标函数可以替换为

其中 $f_{S,i}(x)$ 表示经过训练的代理对第 $i$ 个目标的第 $i$ 个预测函数，$F_S(x)$ 是 DD-MOP 的代理目标向量。

$F_S(x)$ 上近似 $F(x)$ 的准确度定义与评估 MOEA 收敛性和多样性的性能指标的定义类似。以倒代距离（IGD）[25]为例， $F_S(x)$ 和 $F(x)$ 的数据样本分别指近似 PF 和真实 PF。换句话说，$F_S(x)$ 近似 $F(x)$ 的准确度可以通过以下方式计算： $accuracy(\mathrm{T},\mathrm{A})=1/|\mathrm{T}|{\sum }_{i=1}^{|\mathrm{T}|}mi{n}_{j=1}^{|\mathrm{A}|}d(t_i,{\mathbf{a}}_j)$, 其中 $A$ 指的是由 $F_S(x)$ 得到的近似PF集合为 A = { a 1 , a 2 , . . . , a ∣ A ∣ } A= \{\boldsymbol{a}_{1},\boldsymbol{a}_{2},...,\boldsymbol{a}_{|\mathrm{A}|}\} A={a1​,a2​,...,a∣A∣​} , $a_j$ 是目标空间中的第 $j$ 个点，$T$ 是指 $F(x)$ 在目标空间中获得的真实 PF 集为 T = { t 1 , t 2 , . . . , t ∣ T ∣ } , t i \mathrm{T}=\{\boldsymbol{t}_{1},\boldsymbol{t}_{2},...,\boldsymbol{t}_{|\mathrm{T}|}\},\boldsymbol{t}_{i} T={t1​,t2​,...,t∣T∣​},ti​ 是目标空间中的第 $i$ 个点，$d(t_i,a_j)$ 是指目标空间中 $t_j$ 和 $a_j$ 之间的欧氏距离。在DD-MOEA中，主要目的是构建一个好的 $F_S(x)$ 来尽可能准确地逼近 $F(x)$，这反过来又决定了DD-MOP的优化精度。为了尽可能提高 $F_S(x)$ 逼近 $F(x)$ 的准确性，本文中DD-MOP的 $F_S(x)$ 的临界适应度函数可以设计为

其中 $f_D(x,F_S(x))$ 代表代理目标向量的评估机制（将在第 III-A 小节中详细解释）, $F_C(x)$ 是 DD-MOP 的临界适应度向量。针对DD-MOP优化 $F_S(x)$ 可以转化为优化 $F_C(x)$，其中优化 $F_C(x)$ 的有效性将在第三节和第四节中讨论和实验验证。

通常，离线DD-MOEA的目的是从给定的数据集中搜索最优解来逼近 $F(x)$ 的最优解，其中无法获得优化问题的模型，并且只有少数样本可供训练代理人。在这种情况下，对原始优化问题的优化通常会转化为优化其对应的DD-MOP。然而，如果训练的代理不够准确，从 DD-MOEA 获得的最佳结果的质量可能会下降。为了提高 DD-MOEA 获得的最优结果的质量，通过补充额外的评估机制提出了关键适应度策略，该评估机制可以由 GAN 中的判别器辅助。

通常，DD-MOEA可以通过在建模阶段从样本数据训练代理模型来单独设计。然后在优化阶段，通过精心构建的代理搜索近似帕累托前沿，作为其对应的DD-MOP的适应度函数。 DD-MOEA 在收敛性和多样性方面的性能由所建立的代理模型的准确性和所使用的 MOEA 的搜索能力综合决定。对于DD-MOEA，由于样本数据量不足，所获得的近似Pareto前沿的精度严重恶化。因此，为了应对具有挑战性的DD-MOP，需要采取一些策略，例如提高代理可靠性的数据增强策略，以及提高MOEA搜索能力的关键适应度评估策略，以提高DD的性能-教育部。简要回顾了这些策略的相关背景和工作，例如用于合成数据和评估置信度得分的 GAN、DD-MOEA 中的环境适应性以及机器学习中的数据增强，作为激发拟议工作的基础。

A. Generative Adversarial Network in EA

GAN[35]由两个网络组成：生成器和判别器，生成器可以通过给定的噪声源生成数据分布与原始数据相似的合成数据，判别器判断原始数据和判别器之间的分布差异。合成数据。 GAN 的训练策略是定义两个竞争网络之间的博弈，从而生成与原始训练样本具有相似分布的数据。然而，由于生成器和判别器之间的不平衡，GAN 通常很难训练。最近提出了一些工作，例如修改损失函数，以提高 GAN 的训练稳定性[36]-[38]。

对 GAN 优化的价值函数的收敛特性进行分析，以证明训练网络时的稳定性问题[39]。另一种 GAN，名为 Wasserstein GAN (WGAN) [36]，可以利用 Wasserstein 距离代替 GAN 的价值函数，与原始 GAN 相比，它提供了更好的理论特性。另一种修剪 GAN 权重的方法 [36] 旨在强制实施 Lipschitz 约束，以保证 GAN 的稳定性。 WGAN 使学习进展朝着更稳定的 GAN 训练方向发展。然而，由于权重剪裁引入的梯度爆炸或消失，它可能会生成较差的样本。因此，WGAN-GP [40] 中将梯度惩罚添加到 WGAN 的目标函数中，而不是权重裁剪，以明确鼓励批评者保持其梯度等于 1。受益于训练的稳定性和强大的生成性，本文将采用 WGAN-GP 作为工作 GAN，将在第三节详细介绍。

最近，GAN 也被纳入 EA 中以提高算法的性能。通过将 GAN 的学习过程转换为进化优化问题，提出了用于边缘检测的基于差分进化的生成对抗网络 [41]。 [42] 中提出了一种称为进化 GAN 的新颖框架，以提高生成器的生成性能。引入了一种基于粒子群优化的 GAN 训练算法，用于生成由 COVID-19 引起的肺炎的生物医学胸部 X 射线图像[43]。为了解决梯度消失和模型崩溃等问题，利用进化技术与多目标选择策略相结合，提出了多目标进化生成对抗网络算法[44]。由 GAN 驱动的多目标进化算法被用来解决由于维数灾难导致的模型恶化问题[45]。然而，GAN 和 EA 的互补使用主要集中在 EA 对 GAN 的性能提升，而不是 GAN 对 EA 的增强。

受GAN生成和判别能力的启发，本文提出了一种基于GAN的DD-MOP新算法。该算法由两种策略组成，即临界适应度策略和基于GAN的数据增强策略。通过结合来自 GAN 判别器的关键信息，适应度函数可以更加准确，并且通过 GAN 生成器辅助的数据增强，代理模型可以更加准确。 GAN 的这两个网络被巧妙地集成到 DD-MOEA 的架构中，起到“一石二鸟”的作用，因为关键适应度策略由判别器提供，而数据增强策略则由生成器辅助。

基于 GAN 的 MOEA (GMOEA) [45] 旨在通过 GAN 的帮助来提高后代的质量。 GMOEA 和我们提出的 DDMOEA/GAN 之间有两个主要区别，即训练数量和 GAN 的作用。 GMOEA中GAN的训练次数是总迭代次数除以预定义参数 w_max，因为根据[44]及其源代码，GMOEA中GAN每 w_max 迭代都会重复训练。而DDMOEA/GAN中的GAN在进化过程之前只训练一次。因此，DDMOEA/GAN 中训练 GAN 的时间消耗比 GMOEA 少得多。另一方面，GAN 在 GMOEA 中仅通过生成网络扮演后代生产者的角色，而在 DDMOEA/GAN 中，它扮演生成网络的数据增强器和判别网络的评分批评者两个角色。

B. Environmental Fitness in DD-MOEA

DD-MOEA 中的适应度函数通常通过代理模型进行评估，如果 DD-MOP 的代理由于样本数据和建模技术不够准确，则可能会降低 DD-MOEA 的优化精度。替代模型的预测准确性可以通过多种模型管理技术来提高。例如，[26]提出了一种基于集成学习的代理管理策略来提高预测精度。在[28]中，提出了一种用于自我意识模型管理的提升策略，它可以迭代地构建和组合代理以获得一组适合不同问题的代理模型。通过在 RBFN 模型中采用四种不同的核函数，提出了一种基于随机排序的代理辅助进化算法[52]。建议使用由两个代理辅助的进化算法来生成 DD-MOP 的最终最优解[34]。

虽然上述这些方法可以提高 DD-MOEA 中代理的可靠性，但不适合代理单独作为 DD-MOP 的适应度函数，因为当代理不够准确时，它们可能会失去效力。因此，当进化阶段使用代理的预测作为适应度时，需要额外的估计机制来调节DD-MOEA中的适应度。受 GAN [35] 中判别器临界评分机制的启发，将提出一种临界适应度策略来构建一种新的临界适应度，以提高 DD-MOEA 的优化精度。

C. Data Augmentation in Machine Learning

机器学习中样本数据的质量和数量通常通过预处理方法和数据增强方法来提高。例如，通过局部回归策略对噪声数据进行平滑，然后基于高炉优化应用的预处理数据构建克里金模型[6]。在[28]中，提出了一种本地化数据生成方法来创建合成数据，以缓解数据短缺和增加数据量。采用代理生成方法，可以通过基于可用数据进行数据扰动来生成多种代理，以提高数据数量和质量[31]。构建了一个低阶多项式模型作为近似机制模型，以在代理管理中生成新的数据样本[6]。虽然上述这些策略可以提高原始样本数据的质量和数量，但由于仅对原始数据进行了较小的扰动，因此数据增强的效果在一定程度上相当差。

本质上，上面回顾的这些方法都不是有效的,不足以解决 DD-MOP。当通过集成学习方法等机器学习方法提高代理模型的准确性时，仅使用拟合模型来逼近原始数据。由于样本数据中的拟合信息不足，仅利用拟合信息进行训练的模型在DD-MOEA的优化阶段不够可靠。此外，在增加样本数据的同时，仅对原始数据施加轻微的扰动，这限制了代理模型准确性的提高。受 GAN 中生成器的启发，本文提出了一种基于 bagging 方法来训练代理模型的 DD-MOP 数据增强策略，以提高原始样本数据的质量和数量。

III. THE PROPOSED ALGORITHM FOR DD-MOPS

为了应对 DD-MOEA 中获得的近似 Pareto 前沿精度严重恶化的挑战，基于 GAN (DDMOEA/GAN) 的辅助，提出了两种新策略：关键适应度策略和数据增强策略。所提出的 DDMOEA/GAN 的架构如图 1 所示。首先通过 GAN 生成网络辅助的数据增强策略来提高学习样本的数据质量和数量，以提高替代可靠性。然后，通过集成学习技术，通过从实验或操作场景收集的原始数据以及 GAN 生成器生成的合成数据，对代理模型池进行训练。来自 GAN 判别器的附加关键分数被引入到代理的预测中以提高优化精度，这在优化过程中充当关键适应度策略。执行进化算法后，获得存储在外部档案中的最终最优结果以做出进一步的决策。关键适应度策略和数据增强策略可以通过 GAN 同时实现，以辅助 DD-MOEA。

A. Critical Fitness Strategy

DD-MOP的适应度函数被替代模型替代，如果替代模型在优化过程中不够准确，可能会导致搜索方向不正确。对于给定基准获得的真实帕累托前沿和近似帕累托前沿之间的差异称为优化精度，可以通过评估指标来衡量。这种不准确性是由两个不同的方面造成的：代理模型的准确性和 EA 的搜索能力。对于没有已知真实 PF 的现实问题，算法的目标是减少这两方面引入的误差。为了改进优化准确率，通过结合构建的代理模型的预测值和判别器的关键分数，将关键适应度策略引入到 DD-MOP 中。 “适应度函数的近似”是指代理预测（通常充当DD-MOEA中的适应度函数）与真实适应度函数（例如优化域测试套件中的适应度函数）之间的近似。该精度的公式可表示为 $ac{c}_{\mathrm{fit}}=1-Erro{r}_{\mathrm{sur}}=1-\mathcal{L}(y_{\mathrm{obs}},y_{\mathrm{pre}})$，其中 $\mathcal{L}(y_{\mathrm{obs}},y_{\mathrm{pre}}),$ 代表 $y_{\mathrm{obs}}$ 和 $y_{\mathrm{pre}}$ 之间的损失函数，例如 ${\sum }_{i=1}^l\left(abs(f(x)-s(x))\right)/l$，其中 $x$ 指的是样本的决策变量，$I$ 指的是对于样本数量，$f(x)$ 指的是真实的适应度函数，例如 DTLZ1，$s(x)$ 指的是代理的预测。代理模型的置信度可以由 GAN 中的判别器根据初始数据集进行评估。也就是说，代理模型的不准确性可以通过 GAN 判别器的临界分数来检测。此后，代理的预测值可以通过 GAN 判别器的关键分数进行修改，以提供更好（更准确）的适应度，如等式(10)所示。对于给定的优化算法。

为了清楚地解释关键适应度策略的机制，DD-MOEA的总误差可以分解为图2中的EA误差和替代误差两部分，其可以表示为

其中 $Erro{r}_{\mathrm{total}}$ 代表 DD-MOEA 产生的总误差，$Erro{r}_{\mathrm{EA}}$ 指所选 MOEA 引入的误差，$Erro{r}_{\mathrm{sur}}$ 指引入的误差通过训练有素的代理模型。

EA 误差源自真实帕累托前沿 (${\mathbf{PF}}_{\mathrm{true}}$) 与 EA 获得的近似 PF (${\mathbf{PF}}_{\mathrm{appr}}$) 之间的差异，可以通过临界适应度策略尽可能地减少该误差。代理误差主要由代理的准确性决定，可以通过数据论证策略和集成学习技术来降低代理误差，将在第 III-B 节中说明。因此，等式 (4) 可以修改为

其中 $\mathcal{M}({\mathbf{PF}}_{\mathrm{true}},{\mathbf{PF}}_{\mathrm{appr}})$ 是度量函数，用于测量 ${\mathbf{PF}}_{\mathrm{true}}$ 和 ${\mathbf{PF}}_{\mathrm{appr}}$ 、 $\mathcal{L}(y_{\mathrm{obs}},$ $y_{\mathrm{pre}})$ 之间的差异, $\mathcal{L}(y_{\mathrm{obs}},$ $y_{\mathrm{pre}})$ 表示 $y_{\mathrm{obs}}$ 和 $y_{\mathrm{pre}}$ 之间的损失函数，$y_{\mathrm{obs}}$ 指的是观测到的原始数据，$y_{\mathrm{pre}}$ 代表代理模型的预测值。

等式右边第一项 $\mathcal{M}({\mathbf{PF}}_{\mathrm{true}},{\mathbf{PF}}_{\mathrm{appr}})$ 的值(5) 由 EA 的性能决定。为了减少 EA 错误，可以向 $y_{\mathrm{pre}}$ 添加额外的项目。然后可以将误差公式进一步修改为

其中 $s$ 表示判别器得分。 $(y_{\mathrm{pre}}+s)$ 项可以被视为一种新的适应度函数，可以称为DD-MOEA中的临界适应度。临界适应度如方程所示。 (7) 将代理模型的预测与原始数据集的数据分布的临界分数相结合，以增加 DD-MOEA 适应度函数的近似度。

其中 $fitnes{s}_{critic}$ 是指可以作为DD-MOEA的环境适合度的临界适合度。来自鉴别器的关键信息可以定义为

其中 $C_{\mathrm{score}}$ 代表判别器的预测，标准化为[0,1]，$\alpha$（将在第IV-D小节中进行实证研究）是控制临界分数比率的参数。将判别器的数据分数直接添加到代理模型的预测中是不合适的，因为这两项的尺度相当不同。因此，代理模型的预测值乘以鉴别器的预测以保持相同的尺度判别器的临界分数与替代模型的预测值之间。在最小化问题的情况下添加减号，因为较高的 $C_{\mathrm{score}}$ 指的是更可信的个体。

代理的预测值可以通过以下方式计算

其中 $K$ 代表代理模型池的大小，$y_i$ 代表第 $i$ 个代理模型的预测。如上所述，评估信息与代理模型的预测相结合来指导整个优化过程。

由上可知，最终的临界适应度可以通过结合等式进行积分。 (7)、(8) 和 (9) 为

为了直观地解释该策略在示例中的有效性，DD-MOEA 的 PF${}_{\mathrm{true}}$、PF${}_{\mathrm{appr}}$ (PF${}_{\mathrm{appr}}^1$) 和 DDMOEA/GAN 的 PF${}_{\mathrm{appr}}$ ( PF${}_{\mathrm{appr}}^2$ ) 来自多目标测试函数 DTLZ2 [32] 在两个目标上的第 250 代如图 3 所示。通过引入来自鉴别器的关键分数信息，减少了 PF${}_{\mathrm{true}}$ 和 PF${}_{\mathrm{appr}}^2$ 之间的平均误差，这可以提高优化过程中的搜索精度。

B. Augmentation Strategy for Data

在处理样本数据时，使用代理模型来映射输入和输出并不能充分利用原始数据的信息。因此，在设计 DD-MOEA 时，值得考虑从多个角度利用额外的合成数据。 GAN 中的生成器起着从原始数据的分布特征中挖掘信息的作用。然而，并非所有从生成器获得的合成数据都适合添加到原始数据中。判别器判断合成数据与原始数据之间的相似性。只有得分高的合成数据才有可能混合到原始数据中。

对于 DD-MOP，优化过程可能会受到替代模型准确性的影响。特别是，DD-MOP 中原始数据的不足会放大影响。因此，代理模型的选择需要更加谨慎，以获得更令人满意的优化结果。具体而言，径向基函数网络（RBFN）由于其泛化能力强且结构简单而被广泛采用作为替代模型。使用 RBFN 的三个原因。首先，RBFN 是一种计算效率高且易于实现的函数逼近任务方法。其次，RBFN 已被广泛用作代理，例如文献[26]和[27]。第三，克里金模型（高斯过程模型）在处理高维问题时的计算成本相对较高[34]。因此，本工作中RBFN的选择被认为是可行和合理的。为了提高代理的性能，可以采用训练代理模型池的装袋策略，因为装袋方法可以最小化代理引入的方差[50]。

RBFN 中通常有三层，包括输入层、隐藏层和输出层。隐藏层中的每个神经元指定径向基函数 (RBF) 的中心。 RBFN 的隐藏神经元中使用输入与中心点之间的距离作为函数的自变量。 RBFN 的输出可以计算为 $y={\sum }_i{w}_i{\phi }_i+bias,$ ，其中 $w_i$ 表示第 $i$ 个隐藏神经元和输出神经元之间的权重，${\phi }_i$ 是第 $i$ 个隐藏神经元的输出。

RBFN 与全连接三层神经网络的主要区别在于，RBF 在隐藏层中使用，将输入非线性变换为输出。具有高斯核的 RBF 仅取决于到中心点的距离，这意味着隐藏神经元的输出满足 $\phi (r)=\exp (-||x-c|{|}^2/2{\sigma }^2)$，其中$||x-c||$指距中心点 $c$ 的距离，$\sigma$ 表示控制函数平滑度的传播率。 $\sigma$ 越大，函数曲线越平坦，每个隐藏层单元影响的范围也越大。这里，可以根据[52]凭经验将 $\sigma$ 设置为 1。

合成数据由 GAN 中的生成器生成，以提高 RBFN 的性能。显然，判别器判断得分较高的合成数据应该混合到原始数据中。如果添加分数不令人满意的合成数据，代理模型的预测精度将会降低，这对于优化过程来说是不可接受的。获得可信数据后，通过类似于[22]的原始数据建立的二阶多项式模型对目标值进行平滑。判别器得分较高的数据有较高的概率提高代理模型的性能。在GAN生成合成数据之后，在训练新的代理模型（RBFN）之前，根据帕累托原理[51]选择分数按降序排列在前20%的合成数据。这个原则是，在任何一组事物中，最重要的事物只占20%左右，其余80%的事物都是次要的。算法1阐述了构建代理模型池的整个过程。

生成器生成合成数据的过程在算法1的第3行中描述。接下来，在第4-9行中通过判别器的判断来选择合成数据。然后，基于第 10-12 行中的初始数据集和合成数据集构建了一个新的代理模型。最后，新的代理模型被添加到代理模型池中，并且重复该算法，直到模型构建过程满足尺寸条件K，其中K可以根据经验设置为决策变量的数量。根据 Pareto 原理 [51]，第 5 行数据的选择率可以根据经验设置为 20%。换句话说，合成数据集 $D_g$ 中最重要的数据数量仅占 20%，其余 80% 是次要的。

第6-9行的时间复杂度是 $O(S)$，其中S指的是初始数据集的大小，第2行的for循环结构的时间复杂度是O(K)，其中K指的是数量代理模型。因此，算法 1 的总时间复杂度为 $O(S\times K)$。

C. General Framework

所提出的算法 DDMOEA/GAN 由三个部分组成：从原始数据分布中添加合成样本的数据增强策略、构建代理模型池的模型构建以及提高预测近似度的关键适应度策略代理模型对原始优化问题的影响。初始数据集作为原始数据，用于建立和训练生成器和鉴别器。然后，在基于二阶多项式的 bagging 策略下，通过初始数据和 GAN 的辅助构建代理模型[22]。接下来，可以通过应用来自鉴别器的信息将适应度函数修改为临界形式。最后，经过优化过程后，会得到近似Pareto前沿的最优解，供决策者根据自己的喜好进行选择。

算法 2 总结了 DDMOEA/GAN 的整个过程。第 2 行从初始数据中学习额外的分布信息来训练生成器和判别器。生成器生成的合成数据根据判别器的分数进行选择提高代理人的准确性。代理模型池是由第 3 行中的装袋策略下的初始数据和选定的合成数据构建的。可以通过应用来自判别器的临界分数将适应度函数修改为临界形式。最后，经过优化过程，将得到最优结果用于决策，参见第 16 行。

对于大小为 N 的群体，第 8 行 while 循环结构中的一次迭代的时间复杂度为 $O(N)$。此后，对于具有最大代数 G 的 EA，第 5-15 行中整个进化过程的时间复杂度为 $O(N\times G)$。在初始化 MOEA 的群体之前，拟议的 DDMOEA/GAN 中的 GAN 和 RBFN 代理仅在第 2 行和第 3 行中训练一次。 GAN和RBFN整个训练过程的时间复杂度为 $O(S\times (K+1))$，其中 $S$ 指初始数据集的大小，$K$ 是集成学习中代理模型的数量。因此，根据第III-B和III-C小节的分析，算法2的总时间复杂度为 $O(S\times (K+1))+O(N\times G)$。

DDMOEA/GAN、SRKDDEA [52]、BDDEALGD [28]、DDEASE [26]、DDRVEA [6] 和 GMOEA [45] 的平均运行时间如图 4 所示。实验在具有 2.8 GHz CPU 的 PC 下执行和 16 GB 内存。也嵌入了 GAN 的 GMOEA 的运行时间比 DDMOEA/GAN 高出约 20 倍。运行时差异的原因是GMOEA中的GAN根据其原始论文和源代码在整个优化过程中每五代训练一次，而DDMOEA/GAN中的GAN仅在优化过程开始时训练一次. 与其他没有 GAN 的算法相比，DDMOEA/GAN 的运行时间略高于同样在代理模型中利用集成学习的 DDEASE。简而言之，DDMOEA/GAN 的运行时间比 GMOEA 短得多，或者与具有集成学习组件的算法相似。

IV. EXPERIMENTAL RESULTS AND DISCUSSIONS

在本节中，通过表 I 中列出的 DTLZ [32]、WFG [33] 和 F [55] 测试套件的 26 个测试问题进行实证研究来验证所提出算法的性能。这三个测试套件被广泛使用在多目标优化社区中全面测试不同算法的性能。三个测试套件中嵌入了用于优化多目标问题的多个具有挑战性的功能，包括多模式、不连续、非均匀和退化等。所有测试问题的决策变量数量 D 和目标 M 数量等设定条件如表 1 所示。

在实验中，DDMOEA/GAN 与五种最先进的数据驱动算法 SRKDDEA [52]、BDDEALGD [28]、DDEASE [26]、DDRVEA [6] 和 GMOEA [45] 进行了比较。一些比较的算法，如 BDDEALGD、DDEASE 和 SRKDDEA，是根据其原始论文设计来解决单目标优化问题的。在对比实验中，自适应修改代理的构建方法来解决多目标优化问题。例如，BDDEALGD 中的局部数据生成和提升策略被重复应用于代理模型的每个目标，以适应 DD-MOP 中的多个目标，DDEASE 中的自适应选择性集成机制和 SRKDDEA 中的随机排序策略也是如此。除了这些修改之外，这些比较算法的其余组件与原始论文保持相同。然后，通过比较 DDMOEA/GAN 的两种变体作为消融研究，验证了 DDMOEA/GAN 的有效性。这两个变体是没有生成器辅助的版本（DDEA-D）和没有判别器辅助的版本（DDEA-G）。

A. Experimental Settings

实验中采用的对比算法的参数和设置总结如下。

NSGA-II [53] 被用作所有算法的工作 EA，以实现公平竞争。 NSGA-II在交叉和变异中的分布指数均设置为20，交叉概率和变异概率设置为1/D，其中D指决策变量的数量。对比算法的其他参数均根据原论文设置。对于双目标和三目标问题，种群规模N分别为100和200，适应度评估数分别设置为100,000和200,000。

每个测试问题的初始数据集均采用拉丁超立方采样方法[54]进行采样，数据集大小设置为10D，其中D指决策变量的数量。为了具有统计意义，对数据集进行了 30 次独立采样。每个测试问题的每个算法独立执行 30 次。

采用 inverted generational distance（IGD）[25]和 IGD plus（IGD+）[56]来衡量解集的收敛性和多样性。在计算IGD和IGD+时，从真实PF中采样的均匀分布参考解的数量如表1所示。为了在真实PF上均匀采样点，PF中部分问题的样本量设置为9,870这与[48]类似。

为了公平起见，所有选定的测试算法均采用 RBFN 作为代理模型。其隐藏层神经元数量等于问题维度D。所采用的激活函数除SRKDDEA外均为高斯径向基函数，其设置与原始论文[52]相同。

这里采用的生成器和判别器的结构是前馈神经网络[57]，具有一层输入层、一层隐藏层和一层输出层。对于生成器来说，三层神经元的数量分别为D、D和D+M。三层判别器的神经元数量分别为D+M、D和1，其中D表示决策变量的数量，M表示目标函数的数量。生成器和鉴别器中输出层的激活函数是双曲正切和线性输出，如[40]。 GAN的训练参数设置是固定的，其中判别器和生成器的学习率均为0.0001，迭代总数设置为2,000，${\beta }_1$ = 0.5 和 ${\beta }_2$ = 0.9 的Adam优化器[58]为用于训练网络。此外，根据第IV-D小节将描述的敏感性分析，可以根据经验将临界系数 $\alpha$ 设置为 0.1。

B. Comparison with State-of-the-art Algorithms

在本实验中，利用数据驱动问题中使用的五种比较算法来进一步解释所提出的 DDMOEA/GAN 的效果。这些算法是 SRKDDEA [52] 在优化过程中利用随机排序，BDDEALGD [28] 在模型构建过程中利用增强策略，DDEASE [26] 在优化过程中利用选择性代理集合，DDRVEA [6] 利用 RVEA 作为优化器，GMOEA [45] 应用 GAN 来改进优化过程。

表II列出了IGD和IGD+的统计结果，六种算法在 30 次独立运行中在 DTLZ1-7、WFG1-9 和 F1-10 上获得的真实适应度函数下的值。采用Wilcoxon秩和检验，显着性水平为0.05，其中符号“+”、“≈”、“−”表示本文提出的算法DDMOEA/GAN得到的结果显着优于、相近、更差分别比竞争算法。

如表二所示，DDMOEA/GAN 在 27、7、24、25 和 7 个问题上优于 DDRVEA、BDDEALGD、DDEASE、SRKDDEA 和 GMOEA。在DTLZ1和DTLZ3等难以收敛的问题上，DDMOEA/GAN的结果在决策空间的低维问题（即6-D DTLZ1和6-D DTLZ3）上具有优越性，这主要归功于发电机。在更高维度上，由于缺乏数据信息，GAN 对收敛的效果有限。在DTLZ2和DTLZ4等容易收敛的问题上，DDMOEA/GAN的性能通过来自生成器和判别器的额外信息得到改善。 DDRVEA 在 DTLZ2 的第 6 维上获得了最好的结果，这是因为种群多样性是由基于向量的策略控制的。然而，DDRVEA 在 DTLZ2 上的性能随着问题维度的增加而恶化，这意味着当样本太小而无法提供足够的信息时，该策略的有效性可能会降低。与同样利用数据增强的 BDDEALGD 相比，DDMOEA/GAN 在 24 个问题上表现更好，在 17 个问题上表现较差，这验证了从判别器引入信息的必要性。此外，与 GMOEA 相比，DDMOEA/GAN 在 23 个测试问题上表现更好，在 16 个测试问题上表现较差，GMOEA 被认为是基于 GAN 的最先进的 MOEA，但 GAN 的作用与提出的 DDMOEA 显着不同/GAN。它说明 DDMOEA/GAN 比 GMOEA 更有效，因为 GAN 在 DDMOEA/GAN 中扮演数据增强器和评分批评者两种角色，而不是在 GMOEA 中扮演后代生产者的角色。

六种算法的另一个指标IGD+[29]的统计结果如表2所示。从 IGD+ 可以得出与 IGD 类似的结论。所提出的算法在 IGD 和 IGD+ 指标上均明显优于其他最先进的 DD-MOEA。

简而言之，所提出的 DDMOEA/GAN 在五种对比算法中实现了最佳性能，这反过来又证实了 GAN 辅助下的改进。此外，所有测试实例的平均 IGD 和 IGD+ 方面的六种算法的排名信息如图 5 所示为小提琴图。小提琴图用于显示多组秩的分布状态和概率密度[30]。该图表结合了箱线图和密度图的特点，主要用于展示数据的分布形状。它与箱形图类似，但更好地显示密度级别。每个算法的排名的平均值、下四分位数和上四分位数分别用白点和两个黑色块绘制在中间。所提出的 DDMOEA/GAN 在图的底部拥有更高的密度，这意味着更高的等级。在 GAN 的辅助下，DDMOEA/GAN 的平均排名是五种对比算法中最高的。 DDRVEA 的秩密度在图的顶部较高，这表明该算法的性能并不令人满意。与DDRVEA相比，BDDEALGD、DDEASE和SRKDDEA的排名更加稳定。秩的平均值越小，说明收敛性能越好，而秩的方差越小，说明算法的鲁棒性越好。显然，所提出的 DDMOEA/GAN 被认为是所有选定竞争对手中最好的收敛性和稳定性。

C. Ablation Study

为了进一步验证所提出的 DDMOEA/GAN 的有效性，创建了两个变体，即没有生成器辅助的版本（DDEA-D）和没有判别器辅助的版本（DDEA-G）来执行的对比实验。具体来说，只有DDEA-D中的判别器用于关键适应度策略，并且除了增强组件之外，代理模型的构建与DDMOEA/GAN相同。相反，在DDEA-G中，仅使用生成器来辅助构建代理模型，并且优化过程中的适应度函数是没有关键适应度策略的版本。

真实情况下IGD和IGD+值的统计结果，表 III 列出了三种变体算法在 DTLZ1-DTLZ7 和 WFG1-WFG9 上超过 30 次独立运行所获得的适应度函数。请注意，在计算 IGD 和 IGD+ 值之前，每个算法的解都是根据实际目标函数进行评估的。从该表中可以得出以下结论。

如表三所示，DDMOEA/GAN 分别在 21 个问题和 17 个问题上优于 DDEA-G 和 DDEA-D，这证实了 GAN 辅助的有效性。与DDEA-D相比，可以证明数据增强策略的效果，因为DDMOEA/GAN在17个问题上表现优异。然而，由于低阶多项式模型，DDMOEA/GAN 在 DTLZ1 和 DTLZ3 上的性能下降，这可能推断低阶插值估计并不适合所有测试问题。

与 DDEA-G 相比，DDMOEA/GAN 在 21、7 和 4 个问题上的表现分别显着优于、相似和明显较差，这可以得出结论，判别器向适应度函数引入的关键分数信息对于改进是有价值的算法的。然而，当目标函数退化时，DDMOEA/GAN 的性能会恶化，例如 DTLZ6。 DTLZ6 的退化信息很难从样本数据中捕获，这可能会误导鉴别器。此外，图6总结了三种算法在所有测试实例上的平均IGD和IGD+的排名信息，以衡量不同测试问题的排名的均值和方差。给定一个秩集 R = { r 1 , r 2 , . . . , r ∣ T ∣ } , ∣ T ∣ R =\{r_{1},r_{2},...,r_{|T|}\},|T| R={r1​,r2​,...,r∣T∣​},∣T∣ 作为测试实例的数量，算法 $A$ 的准确率可以用平均等级 ${\mu }_A=\frac{1}{|T|}{\Sigma }_{r\in R}r$ 来表示, 而 A 的稳定性可以用秩方差 ${\sigma }_A=\frac{1}{|T|}{\sum }_{r\in R}(r-{\mu }_A{)}^2$ 来表示。如果相应的 ${\mu }_A$ 和 ${\sigma }_A$ 低于其竞争对手，则称算法 A 更好。图 6 以平均 IGD 和 IGD+ 的形式绘制了所有测试实例上三种算法的 ${\mu }_A$ 和 ${\sigma }_A$ 的关系图。如图6所示，DDMOEA/GAN在准确性和稳定性方面明显优于其他两种算法，因为其平均排名和标准排名最低，这说明了关键适应度策略和数据增强策略在所提出的算法。

D. Parameter Sensitivity Study

本小节评估了所提出的算法对 M = 3 和 D = 6, 10 的两个测试问题的控制参数系数 $\alpha (0.05-0.5)$ 的灵敏度。

图7绘制了在不同临界分数系数𝛼上经过30次独立运行获得的每个维度的解集的IGD平均值。在DTLZ3上，很明显，使用系数𝛼实现了更好的IGD性能临界分数在 0.1 到 0.2 之间。在WFG1上，当临界系数值变化时，IGD值波动很小。但如果临界系数变大，总适应度的预测值所占的比例就会变小，这可能会降低算法的优化精度。该算法的目的是根据近似PF中判别器的临界分数来细化最优结果，因此需要适当的临界系数来权衡预测值和临界分数。根据以上分析，根据经验建议临界系数设置为0.1。

V. APPLICATION CASE ON MATERIAL OPTIMIZATION DESIGN

该算法的应用领域可以是昂贵的优化问题，例如高温合金或稀土材料在成分和工艺参数方面的优化设计，由于成本和时间难以承受，很难收集尽可能多的原始样本。

在本节中，考虑了所提出的 DDMOEA/GAN 算法的实际应用案例，以优化 NdFeB 永磁材料。这是一种典型的离线DD-MOP，由于制造过程中发生复杂的物理和化学反应，无法获得目标函数的数学方程。更重要的是，由于时间和成本难以承受，材料实验只能收集少量样品数据，例如本例中的一个 NdFeB 样品消耗了 100 多美元，花费了近一周的时间。

A. Problem Description

材料优化设计问题旨在确定最佳热处理工艺参数，从而实现磁性材料的最佳性能。具体来说，目的是最大化剩磁 $B_r$ 和 intrinsic coercivity $H_{cj}$。这两个属性在实践中通常是矛盾的。例如，随着变形量的增大，$B_r$ 增大，$H_{cj}$ 减小，这是两个相互冲突的性能。因此，选择合适的工艺参数很麻烦。

材料优化设计的应用可概括为以下步骤。钕铁硼永磁材料的因素和性能目标往往由领域知识决定。然后，通过在实验室进行的小批量实验生成初始数据样本。代表因素与绩效之间关系的替代模型是基于初始数据样本建立的。然后，通过DD-MOEA对代理进行优化，从而获得近似的PF。最后通过昂贵的实验验证了优化结果。材料优化设计的整个流程如图8所示。

本文考虑了以下四个过程因素：温度$t$、变形速度$v$、变形$d$、以及添加$Ce$。有 51 个样品不含铈，其余 33 个样品含有铈。为了增加样品的数量，通过添加一个离散决策变量来表示是否添加$Ce$，将这两批样品混合。简而言之，优化问题可以表述为

其中$f_1$和$f_2$指的是NdFeB材料优化设计问题中目标与四个决策变量之间的未知相关性。在本文中，这两个目标$f_1$和$f_2$是由RBFN构建的，数据样本由GAN增强，方程1： (11)是针对NdFeB材料的DD-MOP优化设计。

B. Optimization Results

在这个现实世界的应用中，所获得的解决方案无法得到验证，因为没有现成的“真实目标函数”。为此，我们选择了 DDMOEA/GAN 获得的近似 PF 的一些有趣的优化结果来验证 Pareto 最优解在 $B_r$ 和 $H_{cj}$ 方面的预测性能。由于昂贵的实验成本难以承受，材料专家只选择了三个权衡有趣的点。

第IV-B小节中关于材料优化问题使用的不同算法获得的中值近似PF结果如图9所示。选择DDMOEA/GAN获得的近似PF的三个有趣的优化结果来进行真实的物理材料实验。有趣的点和实验结果分别以红色星形和粉红色三角形绘制。材料优化问题的目的是使剩磁 $B_r$ 和内禀矫顽力 $H_{cj}$ 最大化。优化结果与实验结果之间的误差如表4所示。制作了图9和表IV中标记为A、B和C的三种NdFeB材料来测试 $B_r$ 和 $H_{cj}$ 的性能。 DDMOEA/GAN 这三个点的平均误差为 4.98%，明显优于其他对比 DD-MOEA 的平均误差，例如 DDEASE、BDDEALGD 得到的 18.26%、18.58%、13.37%、20.00%，分别为 DDRVEA 和 SRKDDEA。因此，如图9和表IV所示，所提出的DDMOEA/GAN可以提供一组特定的过程参数，由于优化结果和实验结果之间的误差较低，这些参数对应于更高的性能。

在本案例研究中，提出的 DDMOEA/GAN 发现了一组帕累托最优解中呈现的新型优质 NdFeB 材料。特别是，制造了标记为 A、B 和 C 的三种 NdFeB 材料，并在较小且可接受的误差范围内验证了它们的性能。同时，由于新颖有效的临界适应度策略和数据增强策略，所提出的 DDMOEA/GAN 在预测误差方面比其他 DD-MOEA 取得了更好的性能，并发现了新材料。

VI. CONCLUSIONS

为了提高DD-MOEA的优化精度，本文基于GAN的独特优势提出了GAN辅助的DD-MOEA（DDMOEA/GAN）。提出关键适应度策略以提高优化过程的准确性，并实施数据增强策略以提高代理模型的可靠性。关键适应度策略被认为是来自判别器的关键信息，可以细化近似PF的结果。此外，在生成器的帮助下，可以利用原始数据集的额外信息来生成合成数据。根据判别器的结果选择合成数据，以提高替代模型的准确性。此外，实验结果也显示了与其他对比算法相比的优越性。最后，成功解决了数据驱动的 NdFeB 材料多目标优化设计问题的实际案例研究，以优化工艺参数。 DDMOEA/GAN 发现了三种在 $B_r$ 和 $H_{cj}$ 方面具有最佳性能的新型 NdFeB 材料，并通过实验室制造和测试实验得到了充分验证。对于未来的工作，本文提出的框架将应用于解决具有更复杂挑战的问题，例如大规模、多模态和约束。

References

@article{zhang2022offline,
  title={Offline Data-Driven Multi-objective Optimization Evolutionary Algorithm based on Generative Adversarial Network},
  author={Zhang, Yu and Hu, Wang and Yao, Wen and Lian, Lixian and Yen, Gary G},
  journal={IEEE Transactions on Evolutionary Computation},
  year={2022},
  publisher={IEEE}
}

Zhang Y, Hu W, Yao W, et al. Offline Data-Driven Multi-objective Optimization Evolutionary Algorithm based on Generative Adversarial Network[J]. IEEE Transactions on Evolutionary Computation, 2022.