2022，Expert Systems With Applications，An improved competitive particle swarm optimization for MOP

---

ABSTRACT

多目标粒子群优化算法( MOPSO )因其执行效率高、收敛速度快等优点被广泛应用于求解多目标优化问题(MOPs)。然而，大多数MOPSO在高维目标空间中无法有效地实现收敛性和多样性之间的平衡。本文提出了一种改进的竞争粒子群算法，用于求解多个目标优化问题。为了提高第一代种群的质量，提出了一种基于决策变量划分的多步初始化机制，将决策变量分为两组并分别进行优化。此外，还提出了一种改进的竞争学习策略作为进一步优化的主要部分，其中粒子的更新通过获胜粒子的 leader 信息来实现，具有良好的收敛性和多样性。通过与几种最先进的进化算法进行基准比较，验证了所提算法的性能。实验结果表明，该算法在平衡收敛性和多样性方面具有良好的性能。

1.Introduction

高维多目标优化问题(MaOPs)是指涉及3个以上相互冲突的目标需要同时优化的问题(Ishibuchi et al , 2008 ; Li et al . , 2015 ; Li et al . , 2018)。在过去的几十年中，越来越多的算法被设计用于求解MaOPs。这些算法大致可以分为两大类( Li et al . , 2016 ; Li , Yang , & Liu , 2014)。第一类是修改基于支配性的初选准则，如Loptimality( Zou et al . , 2008)、subspace dominance comparison( Jaimes et al . , 2010)、dominance area control(佐藤学等, 2011)、grid dominance ( Yang et al , 2013)、knee point driven( Zhang , Tian , & Jin , 2015)、θ-dominance( Yuan et al . , 2016)等。这些新的支配关系增加了解之间的选择压力，在求解MaOPs时表现出优异的性能。第二类是改进基于多样性的二次选择标准。在SPEA2/SDE中，采用了截断算子。在估计种群中个体周围区域的面积作为密度，SDE策略同时涵盖了个体( Li , Yang , & Liu , 2014)的分布信息和收敛信息，在NSGA-III中，提出了一种基于参考点的二级准则来维持种群(Deb & Jain , 2014)的多样性。在 Two_Arch2 中，two archives (收敛归档和多样性归档)分别以收敛性和多样性为目标。 然而，它可能无法保留PF(Wang et al . , 2014)的极值点。该方法被RS-MOEA (Gu et al , 2021)采用。在RVEA (Cheng , Jin等2016)中采用角度惩罚距离机制来平衡收敛性和多样性。在1by1 EA中，提出了一种基于余弦相似度的分布指标，用于有效地评估高维目标空间( Liu et al . , 2017)中解之间的距离。

由于具有较高的搜索效率和较快的收敛速度，越来越多的研究者将粒子群优化算法(PSO)推广到求解多目标优化问题。如MOPSO-CD (Raquel & Naval, 2005)、(Mosta ghim et al., 2007)、$D^2$MOPSO (Al Moubayed et al., 2014),、CMOPSO (Zhang et al., 2018)、LMOCSO( Tian et al , 2020)。在过去的三年中，一些工作集中于解决MaOPs。例如，NMPSO提出了一种新颖的BFE方法，该方法结合了收敛性和多样性距离。对于MaOPs(Lin et al., 2018)，NMPSO获得了近似度高且分布均匀的解集。MaOPSO/vPF受到基于指标的多目标进化算法的启发，基于虚拟Pareto前沿来平衡解的收敛性和多样性(Wu et al., 2018)。BOL策略是由CPSO提出的，用于为PF的不同部分生成不同的解决方案，并提高所有目标(Liu et al., 2018).上的解决方案的收敛性。MPSO/DD是在分解框架的基础上提出的，在每个参考向量上有不同的理想点，但在某些问题(Qin et al., 2020)上，解陷入局部最优。特别地，如何平衡解的收敛性和多样性是MaPSOs需要解决的问题。关键是 leader 粒子的选择策略和粒子更新方程。在现有的大多数MaPSOs中，第一代种群是随机产生的，这表明第一代的 “best solutions” 不够好。“best solutions” 存储在外部存档中，其中只存储 the best solutions，但会导致高昂的计算成本。由于与其他粒子共享位置和速度信息进行更新，MaPSOs的性能很大程度上取决于 “best solutions”。由于与其他粒子共享位置和速度信息进行更新。

为了在求解MaOPs时实现解的收敛性和多样性之间的平衡，本文提出了一种新颖的初始化机制，并提出了一种改进的基于竞争的学习策略。因此，我们提出了一种改进的竞争粒子群优化算法，称为CCMaPSO。本文的主要贡献如下：

• 1)本文提出了一种多步初始化机制。第一步，随机生成种群。第二步，通过k-means聚类将决策变量划分为 convergence-related and the diversity-related。The convergence related 的通过遗传算法进行优化，多样性相关的通过差分进化进行优化。该策略在算法初期同时提高了不同种群的收敛性和多样性。对两个种群采用模拟二进制交叉(SBX)。这种初始化机制实现了勘探与开采的平衡，获得了高质量的颗粒。
• 2)在CCMaPSO中提出了一种改进的基于竞争的粒子更新学习策略。一种选择策略被应用于创建包含良好收敛性或高多样性粒子的领导者集。之后，随机选择一个成对的竞争者，收敛指标较好的竞争者为获胜者，引导粒子$i$更新。通过这种方式实现了种群的收敛性和多样性之间的平衡。

本文的其余部分组织如下。第2节介绍了研究背景和相关工作.第3节给出了具体的CCMaPSO算法，第4节通过与竞争MOPSO和MOEAs的比较验证了算法的性能。本文的结论和下一步工作将在第5节中介绍。

2.Background and related work

2.2.Initialization techniques

一些研究认为，先进的初始化技术提高了寻找全局最优解的概率，减少了最终搜索结果的变异，降低了计算成本，提高了解的质量(Kimura & Matsumura, 2005; Ma & Vandenbosch, 2012)。最近，更多的研究人员开始研究初始化技术对(Kazimipour, Li, & Qin, 2013)的影响。初始化机制可以分为三类：随机性、组合性和通用性(Kazimipour, Li, & Qin, 2014)。其中一种初始化机制称为多步技术，属于组合性的范畴。多步技术包含两个或两个以上的成分，一般在后面的步骤中对先前生成的种群进行处理和精化。例如，提出了一种新颖的局部和全局选择，为车间作业调度(Zhang et al., 2011)生成高质量的初始种群。更高级的研究如二次插值(Pant et al., 2009)、智能采样(de Melo & Botazzo Delbem, 2012)、非线性局部搜索(Ali et al., 2013)、和Tabu搜索(Sharma & Tyagi, 2013)也被用作一些组合初始化技术的第二步。

基于多步技术，其中一个主要的关注点是如何选择一个高效的第二步机制，该机制可以在第一步中对生成的种群进行细化。除了上述机制外，还提出了一个决策变量划分的概念来考虑平衡收敛性和多样性(Huband, Hingston et al. 2006)。这种思想在一些算法中得到了应用，如(Ma et al., 2015)和 (Zhang et al., 2018)。具体来说，一个决策变量被认为是：

• 1)收敛相关：修改一个收敛相关变量本身，导致其支配关系的改变。例如，在图1中，如果改变$a_1$的一个决策变量，使其结果$a_1$变为$a_2$，则这个决策变量是收敛相关的.

• 2)相关多样性：修改相关多样性变量本身不会导致其支配关系的改变。例如，如果改变$a_1$的一个决策变量，其结果$a_1$变为$b_1$，则该决策变量为相关多样性。

综上所述，为了提高MaPSOs中第一代 leaders’ quality，本文提出了一种新的基于决策变量划分的初始化机制。

2.3.Competitive swarm optimizer

竞争型协同进化是合作型协同进化的一种，其中各个子种群总会试图获得相对于其他种群的优势。近年来被粒子群优化算法广泛采用。在CCPSO中，来自不同子种群的粒子竞争代表更多粒子的权利，winner 合作解决整个问题(Goh et al , 2010)。在CNOPSO中，基于反馈的多种群进化与传统的PSO相比有很大的不同。反馈机制结合了一种变异的收敛策略来平衡开发和勘探能力。在LMOCSO中，提出了一种用于大规模优化的竞争型群优化算法。引入成对竞争机制，由 loser 向 winner 学习更新，而不是全局最优和个人最优引导其他粒子更新，并且不需要存档来记忆历史信息(Cheng & Jin , 2015)。在CMOPSO中，an elite population 被建议作为 a leader set.。分别计算第 $i$ 个粒子与两个精英粒子之间的夹角，夹角较小的粒子将成为胜者。之后，获胜者将带领第$i$个粒子更新速度和位置。第$i$个粒子的速度$v_i$和位置$p_i$由下面的方程 (Zhang et al., 2018) 更新：

式中：$R_1，R_2\in [0、1]$ 为随机生成的两个向量，$v_i^{{}^{\prime }}$ 和 $p_i^{{}^{\prime }}$ 分别为更新速度$v_i$和位置$p_i$，$p_w$为 winner 的位置。

3.The proposed CCMaPSO

在这一部分中，详细介绍了本文提出的CCMaPSO算法。该部分包括三个部分：CCMaPSO的框架、多步初始化机制、基于竞争的学习策略。

3.1.The framework of CCMaPSO

如算法1所示，CCMaPSO具有一个简洁的框架，它由三个部分组成：多步初始化机制、基于竞争的学习策略和环境选择。首先，与大多数MaPSOs一样，生成一个随机种群，第2 - 5行是该算法在初始化中改进的地方。第6 - 9行是该算法的主要过程。基于竞争的学习策略是为了更新粒子的速度和位置，粒子向胜者学习，而不是向全局最优和个人最优学习。多步初始化和基于竞争的学习策略的更多细节将在下面的部分中介绍。这里采用1by1EA中提出的一种解选择策略作为环境选择策略(Liu et al., 2017).

3.2.Multi-step initialization mechanism

图 2 说明了初始化机制多步化的主要思想。在该算法中，学习策略有一个 a leader set。从初始化后的种群中选出。a leader set 中的粒子将作为 leaders，与其他粒子共享信息进行更新。因此，需要保证 leaders 的质量，因此提出了一种多步初始化机制。

第一步随机生成一个种群 $P^{\prime }$。然后应用k-means聚类将决策变量分为两组(MacQueen, 1967; Zhang et al., 2018).。通过不同的算子，即遗传算法(GA)和差分进化算法(DE)，同时优化这两组。GA具有良好的局部搜索能力，在优化收敛相关的决策变量(Konak et al , 2006)时，进一步提高了算法的收敛性。DE具有很强的全局搜索能力，从而进一步增强了它们的多样性这样，就达到了勘探与开采之间的平衡(Das & Suganthan , 2010)。之后，生成种群PC和种群PD。在PC和PD上施加SBX，生成具有高质量粒子的新种群P。需要指出的是，与LMEA(Zhang et al., 2018), a中提出的决策变量聚类框架相比，虽然我们采用了决策变量划分的方法，但在以下两个方面有所不同。

首先，在该算法中，经过遗传算法和差分进化算法，生成两个种群$P_C$和$P_D$，而不是只有一个种群，$P_C$是优化后的收敛相关变量的种群，$P_D$只是优化后的相关多样性变量的种群。然后通过SBX合并两个种群。通过这种方式，提高了该算法的多样性。实验部分讨论了GA和DE相对于PSO的效率。其次，在初始化过程的第二步中，决策变量划分机制只工作一次，而不是作为主循环在每一代中工作。因此，以竞争为基础的学习为 main loop 将以更高的 quality of the population。同时，提高了收敛速度，降低了计算成本。这种基于决策变量划分的多步初始化为后续过程生成了具有高质量解的种群。

3.3.Competition-based learning strategy

在这一部分，提出了一种改进的基于竞争的学习策略。它包括3个部分：leader set selection, particles competition, and particles updating。学习策略的流程如图3所示。

• 图3 .基于竞争的学习策略流程图。

首先，采用逐个选择策略选择 the leader particles (Liu et al., 2017).。该策略根据初始收敛指标选择解。如果选择了一个粒子，则后续将通过小生境技术选择邻居，并对其进行去强调，以保证 leader solutions 的多样性。此外，该策略使用边界维护机制来保持 corner solutions。在多步初始化机制的配合下，生成了一个高质量的大小为k的Leader集合。需要指出的是， leader set 中的一些粒子具有最大的适应度值，而其中一些是具有良好多样性但收敛性较差的 corner solutions。每次从 leader set 随机选择两个竞争者，并且这种竞争是基于收敛指标的。存在 3 种不同的局势竞争：1)两个粒子都有很好的收敛值，收敛值越大的粒子越有可能获胜。2)两个粒子都具有较好的多样性，但收敛值较差，收敛值较大的粒子将成为 winner；3)一个粒子具有较大的收敛性，另一个粒子具有较大的多样性，收敛值较大的粒子将成为 winner。这种竞争机制保证解以良好的分布收敛到PF。 winner 与第i个粒子共享信息，解在不断更新以有效地保持收敛性和多样性之间的平衡。正如大多数多目标粒子群算法(MOPSO)通常所见，进行多项式变异(PM)，产生种群$P_0$。这里，leader set 中的 elite particles 由于具有良好的收敛性或多样性而直接进入种群 $P$。它们可以避免 elite 向自身学习的问题，最终通过减少计算浪费来降低计算成本。

算法 2 给出了基于竞争的学习策略的伪代码。使用以下公式计算收敛指标：

其中$F_i$是第$i$个粒子的适应度值，$FrontN{o}_i$是第$i$个粒子的Pareto排序，$Co{n}_i$是第$i$个粒子的收敛值。最后，收敛值较小的竞争者将是引领粒子$i$更新的winner。之后，得到一个新的种群$P^{\prime }$。与大多数现有的PSO一样，进行多项式变异并生成$P_0$。

3.4. Computational Complexity of CCMaPSO

为了分析所提出的CCMaPSO的计算复杂度，我们考虑算法1主循环中一代人的主要步骤。主要的计算成本来自于主循环的基于竞争的学习策略机制。如图所示在算法2中，基于竞争的学习策略的主要组成部分是粒子竞争。下面将对每个组件的计算复杂度进行分析。在建立领导集后，随机从k个领导中选出N个进行比较，然后计算它们的收敛值并进行比较。因此粒子竞争的复杂度为O ( kMN )，其中M为目标个数，N为种群规模，k为领导者集合规模。同时，在环境选择中采用非支配排序，复杂度为O ( MN2 )。总的来说，CCMaPSO在一个进化代数内的总体计算复杂度为O ( MN2 )，这表明CCMaPSO在计算上与大多数其他先进算法相似。

4.Experimental studies

本节将通过若干实验来考察CCMaPSO在求解MaOPs时的性能。通过与CMOPSO (Zhang et al., 2018),、LMOCSO(Tian et al., 2020),、NMPSO (Lin et al., 2018),、MOEA/DVA、BCE-IBEA(Li, Yang et al. 2016),、RVEA (Cheng, Jin et al. 2016),、HypE (Bader & Zitzler, 2011)进行比较，验证了CCMaPSO的有效性。此外，通过实验验证了CCMaPSO中所提算子的有效性。最后，将CCMaPSO算法应用于实际问题的求解。

• 1)在MOPSO框架下建立了CMOPSO (Zhang et al., 2018)，提出了一种基于竞争机制的粒子更新学习策略。粒子通过向winner学习进行更新，不需要存档来记忆历史信息。
• 2)基于MOPSO框架提出了LMOCSO ( Tian et al , 2020)。重点研究了更新公式的修改，这是一种两阶段的粒子位置更新策略。引入了成对竞争机制，通过loser向winner学习进行更新。
• 3)NMPSO(Lin et al., 2018) i引入平衡适应度估计方法求解MaOPs。BFE结合了收敛距离和多样性距离来平衡收敛能力和种群多样性。
• 4)MOEA/DVA (Ma et al., 2015)提出了一种决策变量分析机制，包括控制属性分析和变量关联分析。它具有较低的计算成本，并且可以扩展到大量的决策变量和概率。
• 5)BCE-IBEA(Li, Yang et al. 2016)给出了帕累托准则和非帕累托准则的双标准进化(BCE)框架。在BCE中，这两个标准相互协作，试图利用它们的优势来促进彼此的进化。
• 6)提出了基于MOEA框架的RVEA(Cheng, Jin et al. 2016)，搜索过程由一组预定义的参考向量引导。当参考向量被均匀地生成以覆盖整个PF时，它可以在很大程度上被归类为分解。
• 7. HypE (Bader & Zitzler, 2011))建议使用超体积度量来指导MaOPs的搜索。它包含了一种新的基于Lebesgue测度的适应度分配方案，这些测度可以通过蒙特卡洛抽样精确地计算和估计。

因此，这些被比较的算法与所提出的算法非常相关或具有竞争力。

4.1.Experimental setting

为了公平比较，我们尊重被比较算法的推荐参数设置。具体来说，采用模拟二进制交叉和多项式变异作为交叉和变异算子，分布指数均设为20，交叉和变异概率分别为1.0和1 / n，n为决策变量的个数。其他所有参数列于表1中. CCMaPSO中 leader set 中 k的大小设置为10，决策变量聚类选择解的个数nSel，决策变量聚类对每个解的扰动次数nPer，决策变量交互分析选择解的个数nCor分别设置为5、5、6。CCMaPSO、CMOPSO、LMOCSO、MOEA / DVA、BCE - IBEA、HypE中种群规模均设置为100。对于NMPSO、RVEA，种群规模设置如表2中( Das & Dennis , 1996)所示。所有比较的算法都在PlatEMO中实现。此外，我们还在开源的基于Matlab的进化多目标优化平台PlatEMO上进行了实验优化(Tian et al., 2017)。

4.2.Benchmark problems

基准函数对于理解进化算法的优点和缺点是不可或缺的。具体来说，本实验采用DTLZ1-DTLZ6和MaF1 - MaF6，分别以3、5、8、10个目标作为测试问题。在高维多目标优化问题中，DTLZ1-DTLZ6测试问题由于其对任意多个目标都具有可扩展性而得到了广泛的应用。MaF1-MaF6是由DTLZ改装而成。更详细地说，Ma F1是倒置的DTLZ1，它有一个倒置的PF。MaF2是在DTLZ2的基础上修改而来，增加了收敛的难度。MaF3是由DTLZ3修改而来，有大量的局部前沿和一个凸的PF。MaF4是倒缩严重的DTLZ3。MaF5是在DTLZ4的基础上修改而来的，它具有一个严重缩放的PF，其中每个目标函数被缩放到一个大相径庭的范围内。MaF6是由DTLZ5改造而来的，它有一个生成的PF。对于DTLZ1-DTLZ6和MaF1-MaF6，决策变量个数设为n = m + k-1，其中n和m分别为决策变量个数和目标个数。正如建议的那样，DTLZ1的k值为5，DTLZ2-DTLZ6和MaF1-MaF6( Cheng et al . , 2017 ; Deb et al , 2006)的k值为10。表3列出了基准问题的性质

4.3.Performance metric

本文采用了两个广泛使用的性能指标来评估算法的性能。即Δ p ( p = 2) (舒策等, 2012)和超体积( Hv ) (齐茨勒& Thiele , 1999)。作为综合性能的度量指标，两者都能兼顾解集的收敛性和分布性。Δ p由世代距离( GD )和反向世代距离( IGD ) ( Coello & Sierra , 2004)组成，可以看作是解与PF之间的"平均Hausdorff距离"。较小的Δ p值和较大的HV值表明获得的解集质量较好。每个实例执行30次独立运行，记录度量值的均值和标准差。终止准则为预定义的最大函数评价次数，设为105。此外，采用显著性水平为0.05的Wilcoxon秩和检验对实验结果进行统计分析，其中符号’ + ‘、’ - ‘和’ = '分别表示另一种算法的结果显著优于CCMaPSO的结果、显著差于CCMaPSO的结果和统计上相似的结果。分别。灰色背景下显示的都是经过30次独立运行得到的两种对比算法指标统计结果的最佳实例。

5.Summary and conclusions

本文受合作竞争机制的启发，提出了一种求解高维多目标优化问题的改进竞争群算法(CCMaPSO)。提出了一种基于决策变量划分的多步初始化机制，分别对收敛相关和相关多样性决策变量进行优化。为了有效地更新粒子，提出了一种基于竞争的学习策略。采用2 - 10目标的DTLZ和MaF测试问题进行实验对比，验证了CCMaPSO的性能。与CMOPSO (张杰等, 2018)、LMOCSO ( Tian et al , 2020)、NMPSO (林毅夫等, 2018) MOEA / DVA ( Ma et al , 2015)、BCE - IBEA ( Li et al .，2016 )、RVEA ( Cheng et al . , 2016)和HypE ( Bader &齐茨勒, 2011)的实验结果表明，CCMaPSO对MaOPs具有良好的近似性和分布性。

展望未来，合作竞争机制策略在解决多峰多目标问题和约束问题上的应用或许会有所裨益。此外，在高维多目标优化中，哪种类型的划分策略最实用尚不清楚。