论文研读_基于群体合作的大规模多目标优化粒子群优化算法(PCPSO)

论文研读_基于群体合作的大规模多目标优化粒子群优化算法(PCPSO)

A Population Cooperation based Particle Swarm Optimization algorithm for large-scale multi-objective optimization

• 此篇文章为A Population Cooperation based Particle Swarm Optimization algorithm for large-scale multi-objective optimization的论文学习笔记，只供学习使用，不作商业用途，侵权删除。并且本人学术功底有限如果有思路不正确的地方欢迎批评指正！

要点

先提高收敛性，再平衡收敛性和多样性

第一阶段使用 APC 加速主要种群的收敛速度

在第二阶段，提出了一种子种群合作（SPC）策略，以平衡收敛性和多样性。为此，将主种群分为几个子种群，并引入基于Jensen-Shannon散度（JSD）的自适应合并-分割操作，以增加子种群的搜索方向多样性。此外，提出了一种新颖的三距离环境选择策略，从个体和子种群的角度考虑解决方案的质量。

表现优势：在最多包含5000个决策变量和2、3、5、10个目标的基准问题

引言

MOP定义

其中，X=（X₁，X₂，…，X_D）是具有 d 个决策变量的决策空间 Ω 中的决策向量，f(X)是具有m个待优化的冲突目标的目标向量。

为了区分两个解决方案的质量，引入了帕累托优势来确定两个解决方案之间的关系。

给定两个解决方案x和y，如果对于所有的 i ∈ {1, 2, …, m} ，都有 f _i (x) ≤ f _i(y) ，并且存在某个 j ∈ {1, 2, …, m} ，使得f**_j(x) < f_j**(y)，则称x帕累托支配y，记为 x < y 。此外，对于任何两个解决方案 x 和 y ，如果 x 不支配 y 且 y 不支配 x ，则称 x 与 y 是“非支配”的。一个解决方案 x 被认为是帕累托最优的，当且仅当不存在任何支配 x 的解决方案 y 。

优化 MOP 的目标是找到一个具有良好收敛性和多样性的 PF 。

收敛性的标准通常定义为 PF 上采样的参考点与理想点之间的距离。

收敛性的标准通过目标空间中种群的分布来衡量。

相关工作

在过去几年中，已经提出了大量的多目标进化算法（MOEAs）来解决大规模多目标优化问题（LSMOPs）。根据核心思想，我们可以将这些LSMOEAs分为四类：

1. 合作共进化（CC）。基于 CC 框架的进化算法通过随机分组、差分分组和线性分组等方法优化不同组的决策变量。Luis等人提出了一种随机分组技术和一种基于 GDE3 的合作共进化框架 CCGDE3 ，该框架将决策变量随机划分为几组等大小以优化LSMOPs[18]。借助随机分组，该方法在 LSMOPs 上获得了比传统 MOEAs 更好的结果。随机分组技术也与 MOEA/D [19]结合用于分解，称为 MOEA/D² [20]。此外， 2019 年随机分组技术在一个非支配排序遗传算法 NSGA-III 中使用，取得了有希望的表现[21]。然而，基于 CC 框架的进化算法的性能取决于分组策略。如果选择了不合适的分组策略并忽略了决策变量之间的互动，算法的性能将急剧恶化[22]。
2. 决策变量分析（DVA）。DVA 算法的主要思想是分析每个决策变量对目标函数的影响。马等人提出了一种方法，根据决策变量与收敛性和多样性相关的属性，将决策变量分为三组，称为 MOEA/DVA [22]。为了进一步研究，张等人提出了 LMEA ，其主要思想是分析采样解和收敛方向之间的角度。根据角度，决策变量被 𝑙-means 方法分为两组，最终用不同的搜索策略交替优化与收敛相关和多样性相关的变量[23]。何等人提出了一种方法，该方法在进化过程中动态估计变量间的交互关系，以有效引导种群走向最优，称为 LERD [24]。但DVA算法倾向于在分析决策变量以正确分类它们上花费大量的函数评估[10]。
3. 问题转换（PT）。Zille等人提出了一种加权优化框架（WOF），通过优化种群中每个解决方案的权重向量来减少搜索空间[25]。何等人提出了 LSMOF ，该方法在决策空间的不同方向上优化一组权重变量以简化问题。基于 PT 的 MOEAs 通过优化现有解的最优变体的权重来降低决策空间的维度[26]。 LMOEADS [27]与 LSMOF 有类似的思想，但搜索方向上的解是直接采样的，而不是通过遗传算子生成的。此外，引入了进化多任务的概念，以利用不同优化任务之间的潜在共性，并促进改善收敛特性。冯等人提出了 MOEMT ，它在给定问题和辅助任务上进行多因素进化搜索，以便在任务间高效地转移搜索过程中发现的有用解决方案[28]。然而，基于 PT 的算法可能陷入局部最优，经过问题转换后无法找到全局最优解。换句话说，基于 PT 的算法在牺牲失去全局最优的情况下快速收敛。
4. 新策略（NS）。基于 NS 的 MOEAs 通过引入高效的学习操作符来加快粒子的搜索效率。田等人提出了一种基于竞争性群体优化器的新繁殖操作符，称为 LMOCSO 。这种方法根据适应度值将解决方案分为输家和赢家[29]。何等人提出了 DGEA ，该算法沿着两种方向生成后代解决方案，以平衡收敛性和多样性[30]。 S3CMAES [31]使用变量分析策略来划分决策变量，然后利用协方差矩阵适应进化策略[32]来演化每个子种群，这是一种基于概率模型的进化算法，通过迭代更新的高斯模型生成后代。但是，基于 NS 的 MOEAS 需要消耗大量的函数评估（FEs）才能获得更好的结果[27]。例如， LMOCSO 需要15000 x D FEs， DGEA 也需要10000 x D FEs ，这比其他类别的算法多出数十倍。

相关工作

3.1. 基础概念

粒子群优化（PSO）是Kennedy和Eberhart[33]提出的一种流行的群体智能算法，其灵感源自于对鸟类行为的预测。每个粒子群包含了一系列粒子，而每个粒子在搜索空间中拥有两个属性，分别是位置和速度。为了获取全局最优值，每个粒子的速度和位置会按照以下方式进行迭代更新：

在这个公式中， t 是迭代次数， v_i(t) 和 x_i(t) 分别代表需要更新的粒子的速度和位置。 pbest_i 和 gbest_i 分别表示局部最优和全局最优的位置。r₁(t) 和 r₂(t) 是在 [0,1]ⁿ 范围内随机生成的两个向量。 a, b 和 c 是超参数。近年来，基于 PSO 的多种方法被提出，如 LMOCSO（一种基于竞争性群体优化器的新繁殖操作符方法）和 CMOPSO（一种具有粒子更新学习策略的竞争机制方法）。尽管 PSO 显示出高搜索效率的优势，但它倾向于陷入局部最优，并且在大规模多目标优化问题 LSMOPs 上需要过多的函数评估 FEs ，其变体也是如此[35-37]。

3.2. 总览

所提出的基于种群合作的粒子群优化算法（PCPSO）的主要框架如算法1所示，其流程图如图1所示。首先，分别在目标种群 P 和辅助种群 AP 中随机初始化 N 个解。此外，还设置了阈值 THRE ，将搜索过程分为两个阶段。

具体来说，当**功能评估（Fe）**小于 THRE 时，辅助种群协作（APC）将执行到底；

否则，将种群 P 划分为 K（初始值为2）个大小相等的子种群，然后应用 子种群协作（SPC）。

最后，当迭代结束时，输出最终种群作为结果。

在算法的第一阶段，使用 APC 来加速种群的收敛；在 PCPSO 的第二阶段，使用 SPC 来平衡种群的 **Pareto前沿（PF）**的收敛性和多样性。

行1.2：初始化 P、AP

行3 ：均匀参考向量 R

行4 ：初始的 k 是 2

行5 ： FE 是函数评估， thre 是阈值

行6 ： AP 是辅助种群合作，具体在算法 2

行7 ：将种群 P 随机相等分配进 K 个子种群

行8 ：当终止条件未满足时，执行以下操作：

行9 ：子种群合作 SPC ，具体在算法 3

3.3 辅助种群合作（APC）

近年来，基于粒子群优化的进化算法已取得令人满意的成果。但是，粒子群优化（PSO）在大规模多目标优化问题（LSMOPs）上需要进行过多的函数评估，导致收敛速度缓慢。为加快 PCPSO 中种群的收敛速度，引入了辅助种群合作（APC）机制，同时从 NSGA-II 引入了非支配排序方法来选择有前景的粒子。 NSGA-II 的主要思想是根据每个粒子的 目标值 分配一个 非支配数 。每个粒子都有一个非支配数，其中第一个非支配前沿中的所有解将其非支配数设为 1 ，并支配种群中的其他粒子。此外，除了非支配粒子以外，能够支配其他粒子的粒子将其非支配数设为 2 。通过上述方法和 NSGA-II 引入的拥挤距离计算，保证了种群的收敛性。

如算法 2 所示，辅助种群合作（APC）的输入包括当前种群 P 、当前辅助种群 AP 、参考向量 R 以及种群大小 N 。首先，引入了一种有效的粒子更新策略，通过从胜者学习来提高落后者的收敛性（方程式（4）、（5）），并生成临时目标种群p’。

行1 ：

行2 ：从 AP 中选择有潜力的粒子

行3 ：扩大 AP’ 的规模和 P’ 一样（AP‘的粒子已经选定，怎么扩大规模？是重复粒子吗？）

然后，临时辅助种群 AP’ 由根据非支配编号选择的有潜力的粒子组成。我们选择了 **改进的遗传算法（GA）**来使 AP’ 中适应度更好的粒子引导 P’ 中的粒子并产生后代。

具体来说，图 2 展示了两种粒子，一种来自辅助种群 AP’ ，另一种来自目标种群 P’ 。 AP’ 中大多数粒子的适应度值优于 P’ ，但也有例外。 如果粒子 X_o,3 用 遗传算法GA 从粒子 x_t,3 选择，将对后代产生不利影响，我们不改变粒子 x_t,3 ，否则让AP’中的粒子引导 P’ 中的粒子生成有前景的后代。
最后， P’ 和 AP’ 分别执行 θ-DEA 的环境选择。

具体来说，如图 3 所示，通过计算每个参考向量的距离，为每个解分配最近的参考向量。

设 F_i(x) = d_i,1(x) + θ * d_i,2(x) , j∈{1,2,…,N} ，其中 θ 是预定义的惩罚参数。

F_i(x) 的形式类似于 PBI(惩罚边界交叉聚合方法) 。但是距离 d_i,1 和 d_i,2 都是在归一化的目标空间内计算的。 d_i,2 越小， x 的多样性越好； d_i,1 越小， x 的收敛性越好。将解分配给每个参考向量后，根据 F(x) 的值进行排序。例如，一个参考向量被分配给三个解 (x₁,x₂,x₃) ，且 F(x₁) = 0.1 ， F(x₂) = 0.2 ， F(x₃) = 0.3 。我们可以得出结论： θ-DEA 编号为 x₁ 是 1 ， x₂ 是2， x₃ 是 3 。最后，根据 θ-DEA 编号的优先级，选择当前代中的所有解进入下一代。

3.4. 子种群合作（SPC）

辅助种群合作在演化早期阶段牺牲了多样性以实现收敛，因此不足够。因此，提出子种群合作以解决上述困难。

3.4.1. 动机

为了平衡种群的收敛性和多样性，当函数评估次数超过阈值 thre 时，引入 SPC 。在第 4.4.2 节的实验结果中，将 thre 的值设定为 maxFE / 3 。我们将 SPC 引入 PCPSO 主要基于以下假设：

（1）具有相似特征的粒子有更好的机会产生有希望的后代。

（2）在目标空间中分布均匀的子种群更有利于种群的收敛和多样性。

3.4.2. 框架

子种群合作（SPC）的程序如算法 3 所示。具体来说， SPC 包括以下步骤：

(1) 按照每个子种群中解决方案的 平均非支配排名 对子种群进行排序。（第1行）

(2) 计算每个子种群中 非支配粒子 的 目标值 M_ranki 的平均值。（第2行） 均值用于确定种群中个体的集中趋势

(3) 通过计算 M 与 参考向量 之间的距离，为每个 参考向量 分配 最近的子种群 。（第3行）

(4) 通过方程式 4,5 生成后代。（第5行）

(5) 对于第 i (i > 1)个子种群，计算当前种群中每个粒子的目标值与前 i-1 个子种群的平均目标值 M_i 之间的 差异值 dis 。然后我们采用一种新颖的基于三距离的环境选择策略，考虑到解决方案的质量既从个体角度又从子种群角度。具体细节如下。（第7-12行）

• 对当前子群体进行了聚类操作，旨在通过在归一化的目标空间中使用欧几里德距离，将最近的参考向量从 R_ranki 分配给每个粒子。

• 假设 f(x) = ( f₁(x) , … , f_m(x) ) 是解决方案 x 的 标准化目标向量 ，而 v 是 f(x) 在 相应参考向量上的投影 。设 d_i,1(x) 为原点与 v 之间的距离， d_i,2(x) 为 f(x) 与相应参考向量之间的垂直距离。计算分配给每个参考向量的粒子的适应度值：

  

• α 是预先设定的 惩罚参数 ，根据之前的经验设定为 5 ，而 β 是控制 子群体内部影响 的参数，设定为 1 。我们将在第 4.5 节进行进一步的分析。

• 在 R_ranki 中选择每个参考向量具有最佳适应度值的有前途的粒子，用于下一个群体。

(6) 使用 非支配排序 和 拥挤距离 来为第一个子群体选择有前途的后代。（第14行）

(7) 在每一代结束时，定期进行 合并 和 分割 操作，自适应地调整 子群体的数量 ，以解决不同的 LSMOPs 问题，详细说明见算法 3 。（第16行）

如图 4 所示，给定两个子种群，第一个子种群采用基于 NSGA-II 的传统环境选择策略来选择有前景的后代。在目标空间中考虑了其他子种群的每个粒子与前一个子种群之间的距离。来自第二个子种群的粒子 x_2,1 、 x_2,2 、 x_2,3 拥有相似的适应度值。但 x_2,2 距离第一个子种群更远，因此 x_2,2 有更好的机会被选入下一代，以探索未知的搜索空间。 x越远，多样性越好

图4. 考虑到两个子种群，第一个种群包含粒子 X1.1 、 X1.2 、 X1.3 ，第二个种群包含粒子 X2.1 、 X22 、 X2.3 。

第二个子种群的粒子是基于 PBI 值和与所有前一个子种群的质心距离属性 dis 进行选择的，而第一个子种群的粒子则是基于 非支配排序 和 拥挤距离 进行选择的。通过上述操作，可以提高整个种群的多样性。

3.4.3. 合并与分割操作

Jensen-Shannon散度（ JSD ，公式（8））被引入自适应的合并与分割操作中。 JSD 类似于 Kullback-Leibler 散度（ KLD ，公式（7）），因为它们都用于判断两个分布之间的差异。但是，由于以下属性， JSD 对于进化算法更为优越：

1. 对称性，即给定两个分布P和Q，JSD（P||Q）=JSD（Q||P），而KLD（P||Q）≠KLD（Q||P）。

2. JSD 的值在 0 到 1 之间，因此易于量化，而 KLD 的上限是无穷大。换句话说，如果两个分布不重叠，它们的 KLD 值将是无穷大。

合并与分割操作在算法 4 中提出。首先，通过公式 3 计算每两个子群体之间的差异，然后基于Jensen-Shannon散度（JSD）选择两个最相似的子群体。 JSD 越小，相似度越大。接下来，我们定义 JSD 的上限和下限（公式（8））。如果它们之间的 JSD 值小于 lowb 的阈值，那么两个最相似的子群体将合并为一个单一子群体。如果 JSD 值大于 upb 的阈值，则会初始化一个新的子群体。否则，不进行任何操作。通过在第 4.4 节的参数实验中，将 lowb 的值设为 0.1 ， upb 的值设为 0.3 。

实验研究

在本节中，我们进行了几项实验，以探究我们提出的 PCPSO 在解决 LSMOPs 问题上的表现。

首先，我们介绍了所有使用算法的实验设置。

其次，我们将所提出的方法与 LSMOP1 - LSMOP9 上的七种最先进的算法进行了比较，分别是 LMOCSO [29] 、 DGEA [30] 、 S3CMAES [31] 、 LMOEADS [27] 、 LMEA [23] 、 MOEMT [24] 和 LERD [28] 。第三，我们研究了 PCPSO 在大规模多目标问题上的性能，以证明其可扩展性。此外， PCPSO 各个组成部分的有效性将通过剖析研究得到证明。最后，我们将验证相关参数的敏感性和运行时间的对比实验。

这次实验涉及到七种最先进的算法。需要注意的是，我们选择的比较方法涉及不同种类的后代生成策略和问题解决方法。

• 在 LMOEADS（基于问题转换的多目标进化算法）中，后代解是根据问题重构直接沿着搜索方向进行采样。
• 在 LMOCSO（基于新型繁殖操作符的多目标进化算法）中，提出了一种基于竞争群体优化器的新型繁殖操作符，将群体分为输家和赢家，让输家从赢家中学习。
• 在 S3CMAES（基于概率模型的多目标进化算法）中，引入了变量分析技术，将决策变量划分并为每组距离变量演化一个子群体。
• 在 DGEA（基于新型繁殖操作符的多目标进化算法）中，提出了一种自适应后代生成方法，沿着非支配解和支配解之间的方向生成后代解。
• 在 LMEA（基于变量分析的多目标进化算法）中，通过决策变量聚类方法通常划分决策变量，然后每种决策变量交替优化，采用不同的搜索策略。
• 在 MOEMT（基于多任务的多目标进化算法）中，提出了一个用于大规模多目标优化的新型无损高效框架，借鉴了问题简化的 WO 方法[25,40,41]并扩展为反向过程。然后， MOEMT 在给定问题和辅助任务上执行多因素进化搜索，找到有效的解决方案。
• 在 LERD（基于变量分析的多目标进化算法）中，将 LSMOP 的优化分为两部分，优化重构问题以获取与收敛和多样性相关的决策变量，以及分别优化不同类型的决策变量。最后，该方法有效地将群体引向最优解。

在我们的实验中，采用了大规模多目标测试组LSMOP，即LSMOP1至LSMOP9[7]。具体来说，我们使用具有100、200、500、2000和5000个决策变量，以及2、3、5、10个目标的LSMOP1至LSMOP9进行实验研究。表1展示了测试问题的特点。

反转代际距离 （IGD）[42] 被用于评估所比较算法的性能。考虑到真实 PF（帕累托前沿）**P^∗**上均匀分布的点集，以及算法在目标空间 P 中获得的点集， IGD 值可以通过以下方式计算：

其中， dis(v,P) 表示点 v与算法获得的 PF（帕累托前沿） 近似集之间的最小欧几里得距离。|P^∗| 是在 PF 上选取的点的数量。 IGD 值越小，表明算法的性能越好。

4.5 参数敏感性分析

在我们提出的 PCPSO 中，阈值𝑢ℎ𝑠𝑓被用来划分PCPSO的两个阶段，而参数𝑣𝑞𝑐和𝑚𝑝𝑥𝑐用于子人口的分割和合并。参数𝛾控制着子人口间的相互作用。此外，子人口的数量𝑙通过合并与分割操作进行自适应更新，因此无需进行额外的参数实验。
为了分析阈值𝑢ℎ𝑠𝑓对PCPSO性能的影响，我们对具有500个决策变量的三目标LSMOP问题进行了多次实验。阈值分别设为𝑛𝑏𝑦𝐺𝐹50、𝑛𝑏𝑦𝐺𝐹10、𝑛𝑏𝑦𝐺𝐹5、𝑛𝑏𝑦𝐺𝐹2和𝑛𝑏𝑦𝐺𝐹3。实验结果显示在表6中。我们发现，不同的𝑢ℎ𝑠𝑓值对所提算法的性能影响不大。这可以归因于PCPSO在第一阶段快速收敛，因此不需要太多的函数评估（FEs）。因此，所提出的PCPSO对𝑢ℎ𝑠𝑓的设置并不敏感。在本文中，我们将𝑢ℎ𝑠𝑓的值设置为𝑛𝑏𝑦𝐺𝐹3。

图1展示了我们提出的PCPSO（基于群体合作的粒子群优化算法）的主要框架。

具体来说，流程图分为三部分：判断模块（标记为绿色），辅助种群合作（APC，标记为蓝色）和子种群合作（SPC，标记为粉色）。为了加速目标种群的收敛，APC采用精英主导策略（elitism operator）从辅助种群AP中选出精英粒子，进行后代生成并与目标种群合作。为了更加强调目标种群的多样性，SPC维护一系列子种群，使用自适应合并和分割操作，并采用基于迭代距离的策略进行环境选择（Environmental Selection）。

图2展示了改进的遗传算法。考虑具有两个决策变量的粒子，辅助种群 AP’ 中的粒子相较于目标种群 P’ 中的粒子具有更好的适应度值，除了粒子 x_t,3 。此外，只有在 AP’ 中具有更好适应度值的粒子才会引导 P’ 中相应的粒子改善收敛性。如果不是这种情况，将不执行任何操作，相应的粒子将作为后代保留。通过这种方法，辅助种群能够有效地引导目标种群优化其解决方案，加速收敛过程，同时保持了种群的多样性。

图3：给定一个解 x 和一个参考向量 v_i , d_i,1 是投影距离， d_i,2 是垂直距离。由于最小垂直距离是 v_i ，解 x 被赋予参考向量 v_i

将不执行任何操作，相应的粒子将作为后代保留。通过这种方法，辅助种群能够有效地引导目标种群优化其解决方案，加速收敛过程，同时保持了种群的多样性。

[外链图片转存中…(img-iZJ7Lhdt-1705366538206)]

图3：给定一个解 x 和一个参考向量 v_i , d_i,1 是投影距离， d_i,2 是垂直距离。由于最小垂直距离是 v_i ，解 x 被赋予参考向量 v_i