A fast surrogate-assisted particle swarm optimization algorithm for computationally expensive proble

论文题目： 求解计算量大问题的快速代理辅助粒子群优化算法
  
  李凡，沈伟明，蔡锡文，高亮*，
  华中科技大学机械科学与工程学院，数字制造装备与技术国家重点实验室，
   G.王加里
  武汉430074 西蒙弗雷泽大学机电系统工程学院，加拿大
  

摘要

  虽然许多代理辅助进化算法(saas)已经被提出来解决计算成本高的问题，但它们通常需要消耗大量的计算成本才能获得可接受的解。在本文中，我们提出了一种快速的代理辅助粒子群优化算法(FSAPSO)，通过少量的函数评估(FEs)来解决中等规模的计算开销问题。两个标准同时适用，以选择候选人进行准确的评估。基于性能的准则用于挖掘当前全局最优解，加快算法的收敛速度;基于不确定性的准则用于增强算法的探索性。基于距离的不确定性准则没有考虑不同问题的适合度格局。因此，我们提出了一种同时考虑距离和适应度值信息的不确定度估计准则。该准则考虑了问题的适应度情况，弥补了传统基于距离的不确定性准则的不足。此外，它可以应用于任何代理辅助进化算法，而不需要使用代理模型。采用文献中广泛采用的23个基准函数和一个10维螺旋桨设计问题来测试所提出的方法。
  
  实验结果表明，该算法优于7种最先进的算法。

1. 介绍

  进化算法(EAs)已成功应用于解决不同领域的各种问题[1-4]。这些算法可用于求解梯度信息和数学表达式未知的黑箱优化问题。大多数电子环境需要许多fe才能找到一个好的解，因此它们不适合计算量大且fe耗时的问题。为了应对这一挑战，代理模型已被应用于EAs中，以取代某些fe或为精确fe选择有前途的个体。这种算法被称为代理辅助进化算法(saas)。常用的代理模型包括多项式回归[5 - 7]、径向基函数(RBF)[8-11]、Kriging[5,12 - 14]和支持向量回归[15,16]。文献[5,17,18]对不同模型进行了比较。不同类型的模型适用于相应的问题[19]。大多数现实问题的特征通常是未知的。因此，代理集合和混合代理常用于更好的近似和不确定性量化[20-22]。
  一般来说，替代模型的预测可以取代一些精确的fe。代理模型可以通过使用一些预筛选标准来帮助选择个体进行准确的评估。这些预筛选标准对于sae是非常重要的。首先，并不是所有的适应度值在ea的迭代过程中都是重要的，所以只要选择一些有前途的个体进行精确的评估，就可以节省许多fe。其次，预筛选准则决定了哪些个体可以通过精确的评价计算出来，对平衡算法的探索和开发有很大的影响，间接影响了算法的收敛速度。因此，通常很难判断有多少个体或哪些个体应该被准确评估。
  常用的预筛选标准大致可分为三类。首先，基于性能的准则评估具有良好预测适应度值的个体。
  例如，在[23]中，每个粒子都有多个跟踪速度和位置，使用RBF代理模型选择预测适应度值最小的位置。该方法的缺点是每次迭代都对所有粒子进行精确求解，因此需要大量的FEs才能得到好的解。Sun等[24]使用了一种准则，在两层代理辅助粒子群优化算法中，粒子的近似适应度值比其当前的个人最优(基于pbest的准则)更好。[25-28]也采用了这种预筛选标准。虽然基于pbest的标准可以减少一些不重要的fe，但一些比其个人最佳值改进稍好的粒子将被准确地评估。这也将导致在一些迭代中消耗许多fe，因为基于pbest的标准对评估个体的数量没有限制。此外，还有一些算法可以选择群体中最好的个体进行精确评估[27,29 - 31]。但是，这种方法不能单独使用，因为算法会很快陷入代理模型的局部最优。
  
  
  第二，基于不确定度的标准评价的是具有较大不确定度的个体。一般来说，评估具有很大不确定性的个体可以有效地提高代理模型的准确性，并将搜索推到SAEAs中未开发或未很好开发的区域[32,33]。saas中的不确定性通常是指适应度估计的可靠性，适应度估计的可靠性越低，不确定性越大[34]。搜索具有复杂适应度景观的区域通常意味着很大的不确定性。此外，估计的适应度值的可靠性无法提前知道。因此，通常假设样本点稀疏的区域具有较大的不确定性。然而，可能有一些区域的样本稀疏，但估计的适合度值是准确的，例如，在一些区域的扁平适合度景观的问题。通常有三种方法用来估计不确定度。首先，Kriging模型[12,35]可以估计预测的均方误差(MSE)。然而，这种方法只能与克里格模型一起使用，从而限制了它的应用。其次，多个模型预测的差异可以估计不确定程度[35,36]，差异越大通常表示不确定程度越大。但是，多个代理应具有不同的特征，否则，预测可能相似，计算出的不确定性可能不可靠。同时，采用多个代理的方法耗时较长。
  
  最后，候选人到现有训练数据的距离被用作不确定性的度量。Branke等[34]使用候选点到其k个最近估计邻域的欧氏距离来估计不确定度[34]。Regis等[37]使用候选点到先前评估点的最小距离来估计不确定性。然而，距离准则只能发现一个稀疏采样区域，当候选点的色散相似时，预测的不确定度是相似的。此外，不应仅仅使用基于不确定性的预筛选标准，因为许多fe将用于勘探未充分开发的地区。这可能会导致收敛速度的延迟。
  第三种标准同时包含了勘探和开发。例如，在[36]中，提出了一个由异质性集成模型的预测值和标准差组成的下置信界准则来解决昂贵的多目标问题。在[38]中，提出了一种基于两种不同RBF模型的下置信界准则来为每个粒子选择最有希望的探测位置，并通过迭代改变下置信界准则的权重系数来控制粒子的探测空间。在[39-43]中，对一些适合度值较高或置信下限较低的个体进行了评价。然而，在这些标准中选择的个体的数量是基于用户的知识设置的。
  
  没有严格的规则来设置这个值。因此，如果在每次迭代中评估了太多的个体，可能就没有足够的fe可供开发了。
  
  预筛选准则只考虑预测适应度值可能导致早熟收敛，而预筛选准则只考虑不确定性可能导致收敛速度慢。因此，这两个标准不能单独使用。预筛选准则同时考虑预测适应度值和不确定度，难以确定精确评价个体数。如果Ns的值过大或过小，则使用许多fe来探索搜索空间。在总计算资源有限的情况下，可能得不到好的解。因此，本文将基于性能的准则和基于不确定性的准则协同应用于代理辅助PSO算法中，通过少量fe解决中等规模的计算开销问题。这两种标准只选择适合度值最好或不确定度最大的个体进行精确评价，以减少消耗的fe。基于性能的准则用于挖掘当前的全局最优，基于不确定性的准则用于加强算法的探索。该算法利用基于性能的准则可以快速挖掘当前有潜力的区域，利用基于不确定性的准则可以降低陷入局部最优的概率。它可以在有限数量的fe中获得更好的解决方案，因为在每次迭代中评估的候选人不超过三个。因此，我们将该算法命名为快速代理辅助PSO (FSAPSO)算法。此外，基于Kriging模型或多个模型的不确定度准则要么对模型有要求，要么需要多个模型。基于距离的不确定性准则没有考虑不同问题的适合度格局。针对三种准则的缺陷，提出了一种同时考虑距离和适应度值信息的不确定度估计准则。该准则考虑了问题的适应度情况，弥补了传统基于距离的不确定性准则的不足。此外，它可以用于任何SAEA，而不考虑所使用的代理模型。
  
  本文的主要贡献可以总结如下。
  1. 与传统的saas采用一个预筛选准则来平衡勘探和开发不同，FSAPSO算法采用两个预筛选准则来选择精确的FEs个体。其主要优点是基于性能的准则可以促进开发，加快收敛速度，而基于不确定性的准则可以促进勘探，缓解过早停滞。该算法通过在每个准则上对多个个体进行评价，可以很好地平衡勘探与开发，并且可以通过少量的fe获得较好的解。
  2. 与传统的不确定度估计方法不同，提出了一种同时考虑距离和适应度值信息的基于不确定度的准则。该准则的主要优点是，通过考虑问题的适应度景观，弥补了传统基于距离的不确定性准则的不足。此外，它可以用于任何sae，而不考虑所使用的代理模型。
  
  本文的其余部分组织如下。第2节提供了本文工作的初步介绍。
  
  第三部分描述了所提出的快速代理辅助PSO (FSAPSO)算法的主要组成部分和所提出的基于不确定性的准则。第4节给出了所提算法的行为研究，并在一些数值实例和一个工程实例上将所提算法与其他先进的saas进行了比较。第五部分对全文进行了总结，并讨论了未来的工作。

2. 准备(Preliminaries)

2.1 RBF 模型

  RBF模型最初是为离散多元数据插值[8]而开发的。它采用基函数的加权和逼近复杂景观[44]。对于由Nt训练点的输入变量值和响应值组成的数据集，真函数(x)可以近似为
  
  式中λ为通过求解线性方程计算的系数;Ci表示基函数的第i个中心;P要么是多项式模型，要么是常值，文中采用线性多项式[23,37];$\varphi$是一个基函数。
  
  当(1)未定时，进一步对系数λ 施加正交条件
  
  
  

2.2 标准粒子群算法

  在标准PSO (SPSO)[45]中，粒子根据(4)和(5)更新其速度和位置。本文利用这两个公式对粒子群进行更新。下面，我们也用标准粒子群来表示带有惯性权重的粒子群。
  
  其中w为惯性因子;Vi是第i个粒子的速度;C1和c2是学习因子;Rand是[0,1]中的随机数;PI是第i个粒子的最佳位置;pg为粒子群的全局最优位置。

3. 提出的FSAPSO算法

  粒子群在收敛到一个好的解之前往往需要经历一个探索和开发的过程。如果每次迭代都精确计算过多的粒子，将消耗大量的fe。因此，对于计算开销大的问题，选择“正确的”粒子进行精确评估是很重要的。
  
  两种准则，基于性能的准则和基于不确定性的准则，被串联使用来为所提出的FSAPSO中精确的FEs选择候选解。在基于性能的准则中，每次迭代都精确地求出预测适应度值最好的粒子和代理模型最优的粒子，以控制粒子群的搜索方向。当代理模型的最优值较好时，代理模型的最优值将取代当前群体的全局最优值。如果只采用基于性能的准则，经过几次迭代，粒子可能集中在模型的最优点附近。因此，蜂群可能很快收敛到局部最优。因此，本文采用了一种新的基于不确定度的判据，选择不确定度最大的粒子进行精确评价，增强了算法的探索性。由于位于稀疏区域的粒子通常具有较大的不确定性，因此模型的精度也得到了提高。一般来说，不确定性大的粒子只能对目前的群的全局最优做出很小的改进。如果每次迭代都精确计算不确定性最大的粒子，可能会浪费一些fe。参考[35]中的方法，只有在不改进当前群的全局最优的情况下，才能精确地求出不确定度最大的粒子。
  
  本文提出的FSAPSO算法与基于委员会的主动学习(CAL-SAPSO)[35]的代理辅助PSO算法不同，尽管这两种算法都使用了基于性能和基于不确定性的标准。
  
  首先，FSAPSO算法使用两个标准从群中选择粒子以获得精确的fe，而CAL-SAPSO算法主要工作是寻找两个标准对应的模型的最优。因此，CAL-SAPSO似乎是一种基于代理模型的全局优化算法，而FSAPSO则是一种代理辅助的PSO算法。其次，CAL-SAPSO利用多个代理模型预测的差异估计不确定度，FSAPSO利用距离和适应度值信息估计不确定度。
  

3.1 FSAPSO总体流程图

  所提出的FSAPSO算法的一般示意图如图1所示。算法的详细流程如算法1所示。在该过程开始时，采用拉丁超立方抽样(Latin Hypercube Sampling)生成初始样本，取适应度值最好的N个样本作为初始总体。然后，将所有样本建立RBF模型，当xminRBF与其他评估样本之间的最小距离大于η阈值时，对RBF模型(xminRBF)的最优值进行精确评估。使用η阈值来避免样品过于封闭。如果xminRBF更好，它将取代蜂群中的全局最优。然后，粒子的速度和位置被更新。首先用RBF模型对所有粒子的精细度值进行预测，当粒子与其他样本的最小距离大于η时，对预测值最小的粒子进行精确估计。在不改进当前全局最优的情况下，对不确定度最大的粒子也进行了精确计算。注意，数据库(DB)中将存储三种解:初始样本点、RBF模型的最优值和精确评估的粒子。最后两种解决方案将在每次迭代时累积存储在数据库中。
  

3.2 模型管理

  由于三次基函数在其他saas上表现出了良好的性能，因此构建了一个具有三次基函数的全局RBF模型来预测所有粒子的适应度值[23,37]。当RBF模型的最优值较好时，精确地求出该模型的最优值，更新群的全局最优值。RBF模型具有逼近高阶非线性问题的能力，因此近似模型可能存在许多局部最优值。虽然求出所有的局部最优值有利于勘探，但可能会消耗大量的fe。代理的最优主要用于改进当前的全局最优，因此使用局部优化算法来寻找最优。本文利用Matlab R2015a中的内点法，利用fimincon求解器求模型的最优解。局部优化算法的起点是当前群中的全局最优。寻找最优的搜索空间限制在当前人口所在的空间，因为该区域的最优可能有更大的概率改进当前最优。
  ## 3.3 提出的基于不确定度的准则
  我们考虑以下三种情况。首先，如果样本的离散度相似，适应度景观复杂的区域通常具有更大的不确定性，因为它们更难近似。其次，如果景观的复杂性在空间上是相似的，在评估点附近的候选点通常具有较小的不确定性，因为最近的样本点对其影响最大。最后，与第二种情况类似，一个候选点的不确定度通常会随着相邻点的估计值点的增加而减小。总的来说，不确定性受问题的适合度分布、候选点到其最近评估点的距离以及最近评估点的数量的影响。传统的距离准则只考虑候选点与相邻点之间的距离，因此预测的不确定度可能不可靠。
  
  考虑到距离准则的缺陷，我们对其进行了改进，增加了适应度值信息，并将其命名为距离与适应度值(DF)准则。在小范围内，适合度值的分布在一定程度上可以反映适合度景观的平滑程度。健康值方差小的健康状况可能比健康值方差大的健康状况略平坦。然而，这一假设只适用于一个小的局部区域，因为在一个大的搜索空间中，崎岖的景观可能有一个小的适应度值的变化。改进的基于不确定度的准则考虑了候选点到其k个最近评价点的距离和其k个最近评价点的适应度值方差。候选函数DF值的计算公式如(6)所示，其中s为修正的sigmoid函数。用S表示候选点到最近的估计点的距离与不确定度的关系。当一个候选者与最近邻居的距离变小时，它的不确定性就变小。如图2所示，在精确评估点上，不确定度为零。当变量接近5时，sigmoid函数的函数值接近于一个稳定的值。如果大多数最近距离大于5，则很难区分距离对不确定度的影响，因此使用(12)将不同粒子的最近距离缩放为(0,5)。也避免了由于距离大小不同而引起的问题。候选人与k个最近邻的距离的平均值和k个最近邻的适应度值方差作为s的权重，因为它们都对不确定度有影响。为了解决缩放问题，将两个值分别除以它们的和，如(9)和(10)所示。

  其中k是最近邻居的个数，dij是候选I到它的第JTH个最近邻居的距离，di1是候选I到它的最近邻居的距离，yj是第JTH个最近邻居的适应度值。图3(a)为4个样本点均匀分布在[0,1]的一维Forrester函数的Kriging模型，图3(b)为候选点到样本点的最小距离(dmin)、候选点的DF值和Kriging预测的MSE。显然，dmin准则只与样本点的分布有关，而DF准则能反映景观的复杂性。
  
  为了检验DF准则的有效性，使用具有四个非均匀分布样本点的一维Forrester函数对三种准则预测的不确定性进行比较。在不考虑峰值的情况下，三个指标的变化趋势相似，如图4所示。但dmin准则和DF准则的峰值与Kriging模型的MSE的峰值并不相同。dmin准则只考虑到最近邻居的距离，所以峰值只与距离有关。DF准则还考虑了适应度值，因此在样本点分布相似的情况下，适应度值方差较大的区域往往具有较大的不确定性。
  
  在高维搜索空间中，样本在算法初始阶段稀疏分布在搜索空间中。粒子与最近的样本之间的距离相对较大。例如，图5显示了使用FSAPSO测试50维Rastrigin函数，在不同迭代中粒子到每个评价点到DB的距离。如果最近的距离较大，适应度值的方差可能不能反映候选人所在区域的真实适应度情况。在这种情况下，粒子可能都有很大的不确定性，因为代理模型显然在任何地方都不准确，所以DF准则也可以用来选择不确定度最大的候选者。随着迭代的进行，更多的评估点位于蜂群存在的区域。粒子与最近样本之间的距离逐渐变小。适应度值的方差是可靠的，DF准则具有识别最不确定候选者的能力。

4. 实验研究

4.1 参数设置

  在实验中，每个算法独立运行30次。采用表1中八个具有不同特征的基准函数来评估所提算法的有效性[26,27,29,31,35]。对于本文使用的所有算法，终止条件为消耗的fe数小于maxNFE, maxNFE设为11D[31,35]。
  
  对于本文所使用的PSO算法，w= 0.792-(0.7920.2)NFE/maxNFE, c1 = c2 = 1.491，与文献[3,46]中常用的算法相同。当搜索空间随着问题变量的增加而增大时，初始样本点K的个数最大(D,20)。D是问题的维度。
  
  蜂群大小N为20。Vmax = 0.1 (ub-lb) Vmin = -Vmax。Ub是变量的上界，lb是变量的下界。对于FSAPSO算法，η为min(sqrt(0.0012D)， 5.0×10−5D×min(ub-lb))，灵感来自于[23]中的方法。最近邻数(k)为3，其对算法的影响在4.4节进行了分析。

4.2 FSAPSO的行为研究

4.2.1 基于性能的准则的影响

  为了展示基于性能的准则对所提出的FSAPSO算法的影响，我们将FSAPSO与其两个变体(FSAPSO- womo和FSAPSO- wobp)进行了比较。FSAPSO- womo与FSAPSO相似，只是它不评估模型的最优值。FSAPSO- wobp与FSAPSO相似，只是它不评估最佳粒子。用维数D = 10、20、30的5个基准问题对三种算法进行了测试。表2显示了三种算法在30次独立运行中获得的平均最佳目标函数值，并突出显示了个别实例的最佳平均值。表的最后一列列出了在显著性水平α =0.05下计算的Wilcoxon秩和检验结果，其中‘≈’表示FSAPSO算法与比较算法的结果无统计学差异，‘+’表示FSAPSO算法显著优于比较算法，‘−’表示FSAPSO算法显著优于比较算法。FSAPSO算法在所有问题上都明显优于FSAPSO- womo算法，如表2所示。然而，FSAPSO和FSAPSO- wobp算法在15个问题中的13个问题上表现相似，在30维Ackley函数上FSAPSO- wobp算法略优于FSAPSO算法，而在20维Rosenbrock函数上FSAPSO算法略优于FSAPSO算法。这表明，对模型的最优值进行评价可以有效地提高最终解的质量，对群中最优粒子进行评价可以改善某些问题的解。三种算法在10维Rastrigin上的收敛曲线如图6所示。FSAPSO在约60次FEs后得到的解明显优于两个方差。这意味着，对最佳粒子和代理模型的最优值进行评价，可以很好地指导粒子群优化，促进粒子群的开发。此外，在大多数问题上，FSAPSO-WOBP比FSAPSO-WOMO取得了更好的结果。
  
  这说明代理模型的最优可以为蜂群提供更有前途的信息。总体上证明了基于性能准则的FSAPSO算法的有效性。
  
  

4.2.2 基于不确定度准则的影响

  为了说明基于不确定性的准则对FSAPSO算法的影响，我们比较了FSAPSO和没有基于不确定性准则的FSAPSO(表示为FSAPSO- wou)。表3显示了三种算法在30次独立运行中获得的平均最佳目标函数值，并突出显示了单个实例的最佳平均结果。
  
  在15个问题中，FSAPSO算法在7个问题上优于FSAPSO- wou算法，在8个问题上表现出相似的性能。两种算法在10维椭球和两个简单的多模态函数(Ackley和Griewank)上表现出相似的性能。这可能是因为这些问题易于近似，代理模型即使没有基于不确定性的准则，也能为群体提供真正有前途的信息。然而，在没有基于不确定性准则的情况下，样本点容易聚集在当前最优值的邻近，因此FSAPSO-WOU算法容易陷入局部最优。该算法可以探索更多的领域，基于不确定性的准则也提高了模型的精度。此外，在大多数问题上，FSAPSO算法得到的标准差比没有不确定性准则的算法要小。结果表明，探索次数越多的算法越稳定。因此，证明了基于不确定性准则的FSAPSO算法的有效性。
  
  
  
  

4.2.3 DF准则与其他基于不确定度的准则比较

  虽然DF准则对FSAPSO算法的有效性已经得到了证明，但DF准则是否能很好地衡量不确定度尚不清楚。因此，我们还将DF准则与其他基于不确定度的准则进行比较，进一步研究其特性。比较了FSAPSO算法的两种变体，即使用Kriging模型的MSE替换DF准则的FSAPSO算法和使用随机准则(随机选择一个粒子)替换DF准则的FSAPSO算法。Kriging模型的MSE是一种常用的不确定度计算方法。
  
  随机准则用来检验它在FSAPSO中是否能起到与DF准则相同的作用。这一比较的结果将表明在FSAPSO中其他标准是否与DF标准一样有效。表4显示了三种算法在30次独立运行中获得的平均最佳目标函数值，并突出显示了单个实例的最佳平均值。DF准则在15个问题中有5个优于随机准则，而在9个问题上它们的表现非常接近。此外，DF准则在12个问题上都能得到较好的平均值，因此DF准则不同于随机准则。这些结果也表明，并不是所有的准则都能在FSAPSO中表现出与DF准则相似的性能。此外，在15个问题中的10个问题上，DF准则比MSE准则的表现更好。这表明DF准则的有效性。

4.3 基准问题的比较实验

4.3.1 10维、20维和30维基准问题的实验

  为了进一步检验所提出算法的性能，我们将其与五种最先进的算法进行比较。采用SPSO算法[45]检验代理模型的效果。SPSO的参数设置与FSAPSO相同。采用RBF模型辅助PSO算法SAPSO-PBEST，研究了不同预筛选标准对算法的影响。SAPSO-PBEST与FSAPSO相似的是，基于pbest的准则用于选择粒子进行精确评价。还使用了三种最近提出的基于代理的优化算法。SHPSO[26]是一个代理辅助的层次粒子群优化器，由一个PSO算法和一个基于社会学习的PSO (SL-PSO)算法组成，用于探索和利用搜索空间。SHPSO与SAPSOPBEST相似之处在于，它的RBF模型是用存档中的前P个非重复的最佳样本建立的，并使用SL-PSO算法来搜索模型的最优。CAL-SAPSO[35]是一种基于集成代理的全局优化方法，采用PSO算法寻找最优点和最不确定点进行精确评价。基于不确定度的CAL-SAPSO准则由子模型输出之间的差异组成。GORS-SSLPSO[31]是一个代理辅助的SL-PSO，具有基于代的最优重启策略。SL-PSO每隔几代就重新启动一次，并且在每次重新启动时使用数据库中存档的最佳样本点重新初始化群集。
  
  在每次重新启动SL-PSO之前，选择估计适应度值最好的个体进行精确评估。所比较的saas的参数与文献一致。表5显示了6种算法在30次独立运行中获得的平均最佳目标函数值，并突出显示了单个实例的最佳平均结果。
  
  表6列出了在α = 0.05显著性水平下计算的Wilcoxon秩和检验结果，由于无法复制CAL-SAPSO的结果，故不检验CAL-SAPSO的结果。
  
  图7绘制了算法的收敛曲线，并从[31]提取了CAL-SAPSO的收敛曲线。
  
  从表5和表6的结果可以看出，在15个问题中，FSAPSO算法在8个问题上获得了最佳平均值，而GORS-SSLPSO算法在其余问题上获得了最佳平均值。与非代理辅助算法相比，FSAPSO算法在所有问题上都明显优于SPSO算法。这表明使用代理可以显著改善最终的解决方案。
  
  在15个问题中，FSAPSO算法在11个问题上优于SAPSO-PBEST算法，而SAPSO-PBEST算法在D = 20,30的Ackley函数上的结果略好。
  
  Ackley函数是一个具有许多浅谷的多模态函数。FSAPSO算法可能陷入局部最优。
  
  此外，FSAPSO算法在所有问题上都优于SHPSO算法。在SHSPO中，当D<50时，初始样本点数为100，对于D<50的问题，训练RBF代理模型的样本数也为100，因此使用许多样本来构建代理模型。在15个问题中，FSAPSO算法在14个问题上优于CAL-SAPSO算法，在D = 30的Rosenbrock问题上表现出相当的性能。但FSAPSO算法仅在D = 10,20,30的Rosenbrock函数上优于GORS-SSLPSO算法，而GORS-SSLPSO算法在30维椭球函数和10维Ackley函数上表现略好。
  
  从图7所示的性能曲线中，我们可以很容易地看到，在大多数问题上，FSAPSO和GORS-SSLPSO算法比其他四种算法收敛得更快。在大多数问题上，SPSO、CAL-SAPSO和SHPSO的收敛速度比其他算法慢。在fe数目相同的情况下，FSAPSO比SPSO在当前最优条件下有更大的改善。
  
  此外，除了D = 20和30的Ackley函数外，SAPSO-PBEST算法在相同次数的FEs下得到的全局最优解比FSAPSO算法得到的全局最优解差。对于D = 20和30的Ackley函数，FSAPSO在后期的收敛速度要比SAPSO-PBEST慢得多。然而，在其他两个多模态函数(Rastrigin和Griewank)上，FSAPSO的收敛速度要比SAPSOPBEST快得多。这三个函数都是多模态函数，具有许多局部最优，但Ackley的局部最优比其他两个问题要浅得多。基于pbest的预筛选准则可以在Ackley函数上找到有潜力的区域，而对其他两个问题的探索则消耗了大量的FEs。基于性能的准则和基于不确定性的准则在FSAPSO中是串联使用的。这样可以很好地实现勘探与开发的平衡，不会在勘探上浪费大量不必要的FEs。此外，FSAPSO算法比其他代理辅助算法(CAL-SAPSO和SHPSO)收敛速度快得多。这说明了FSAPSO中两个标准的优越性。
  
  从以上的结果，我们可以得出以下的结论。首先，代理模型有助于提高粒子群算法的性能。其次，基于性能的准则和基于不确定性的准则之间的协同作用可以使FSAPSO在单模态和多模态问题上都取得良好的性能。在计算预算有限的情况下，FSAPSO可以得到五个经典基准函数的良好解。此外，在大多数问题上，FSAPSO算法的收敛速度要比其他算法快得多。这可能与基于性能的准则与基于不确定性的准则的良好协同有关。基于性能的准则可以促进开采，加快收敛速度，而基于不确定性的准则可以加强勘探，避免不必要的FEs。

4.3.2 50维基准问题的实验

  为了进一步测试FSAPSO算法在高维问题上的性能，我们使用表1中的50维函数进行实验研究。还使用了SPSO、SAPSO-PBEST、SHPSO[26]、代理辅助协同群优化算法(SA-COSO)[27]和进化采样辅助优化(ESAO)算法[29]进行比较。经过30次独立运行，算法得到的平均最佳目标函数值如表7所示，并突出显示了单个实例的最佳平均结果。表8列出了在α = 0.05显著性水平下计算的Wilcoxon秩和检验结果。ESAO[29]的结果是从原始论文中复制的。ESAO的原始论文中没有对Rastrigin和F16进行测试，因此这两个函数在三种算法上的结果为空白。
  
  算法的收敛曲线如图8所示。ESAO算法的收敛特性是复制原论文。原始数据可能会有一些偏差，但总的趋势可以反映出来，以便进行公平的比较。
  
  
  
  从表7和表8的结果可以看出，FSAPSO、SAPSO-PBEST和ESAO算法分别在4 / 1 / 3问题上获得了最佳均值。FSAPSO算法在所有问题上都明显优于SPSO算法。FSAPSO算法在4个问题上明显优于SAPSO-PBEST算法，在2个问题上优于SAPSO-PBEST算法。在50维问题上，FSAPSO算法的优势并不明显。FSAPSO每次迭代只选择最优和最不确定的粒子，高维问题的搜索空间太大，可能导致算法陷入局部最优。在ESAO[29]中，精确评估了两个候选变量:差分进化产生的最佳后代和局部代理模型的最优解。FSAPSO算法在6个问题中有4个优于ESAO算法，而他们在Ackley上得到了相当的结果。这说明在FSAPSO中使用的两个标准可以使FSAPSO取得良好的性能。SA-COSO[27]采用两种代理辅助PSO算法协同搜索全局最优。FSAPSO算法在所有8个问题上都明显优于SA-COSO算法。SHPSO[26]算法采用与SAPSO-PBEST算法相同的预筛选策略，但采用局部代理模型对粒子进行预估，采用SL-PSO算法对模型进行最优搜索。
  
  在大多数问题上，SHPSO算法的性能比SAPSOPBEST算法差，这可能是由于使用局部模型使得算法陷入了模型的局部最优。但在F16和F19这两种非常复杂的函数上显示出较好的效果。GORS-SSLPSO[31]在几代之后重新启动SLPSO，并通过精确地评估SLPSO中最好的粒子来平衡探索和开发。FSAPSO算法在8个问题中有7个明显优于GORS-SSLPSO算法。
  
  
  
  从图8所示的性能曲线可以看出，在大多数问题上，FSAPSO算法的收敛速度都比其他算法快得多。FSAPSO算法的全局最优性比SPSO算法提高得快。结果表明，在高维问题的相同次数下，使用代理可以提高最终解的质量。FSAPSO在Ackley、F16和F19上的收敛速度比SAPSO-PBEST稍慢。SAPSO-PBEST中的判据可以选择更多的粒子来探索有潜力的区域。这可能解释了SAPSO-PBEST算法在后期对最终解的改进上还有更大的潜力。此外，FSAPSO在6个问题中的5个问题上的收敛速度比EASO快，而ESAO在F19上的收敛速度更快。F19是一个复杂的多模态函数，ESAO采用差分进化的方法对种群进行进化。差分进化算法良好的探测能力可能导致ESAO在F19上的良好性能。在相同的fe条件下，FSAPSO能比SA-COSO获得更好的最优解。SA-COSO的策略将大量的资源分配在勘探上，可能导致其性能不佳。在6个问题上，FSAPSO的收敛速度比GORS-SSLPSO快，而在F19上，GORSSSLPSO的收敛速度比FSAPSO快。它们在F10上的收敛速度相似。GORS-SSLPSO使用SL-PSO探索搜索空间。这可能导致其在F19上的探测能力优于FSAPSO。
  
  从以上的结果，我们可以得出以下的结论。首先，代理模型可以显著提高粒子群算法在高维问题上的性能。其次，在计算预算有限的情况下，FSAPSO算法在大多数基准函数上的性能显著优于GORS-SSLPSO、SHPSO、SA-COSO、ESAO、SAPSO-PBEST和SPSO算法。此外，在大多数问题上，FSAPSO算法比其他算法收敛得更快。
  

4.4 DF准则最近邻数的影响

  候选点的不确定度通常受最近的估计值邻居的影响，而距离较远的观测点对不确定度影响不大。此外，DF准则还被设计用于局部区域，因为较大的邻居会使适应度值的方差无效。因此DF准则的最近邻数(k)不能太大。此外，k应大于1，因为当k = 1时，只考虑距离信息。当D = 10,20时，初始采样点数为20，因此k的最大值设为20。选取5个不同的值(1,3,5,10,20)来测试其对最终结果的影响，并使用D = 10,20,30的5个基准问题进行实验研究。经过30次独立运行，算法得到的平均最佳目标函数值如表9所示，并突出显示了单个实例的最佳平均结果。对于所有测试的问题，当k = 1时得到的结果是最差的，对于剩余的问题也得到了类似的结果。结果表明，使用距离和适应度值信息来估计不确定度比仅使用距离更有效。k = 3与其他参数之间没有显著差异，因此参数k对所提算法几乎没有显著影响。

4.5 使用的代理模型的效果

  为了测试不同代理模型对所提出的FSAPSO算法的影响，我们将FSAPSO与其变体FSAPSO1进行了比较。FSAPSO1与FSAPSO相似，不同的是它使用Kriging模型来预测适应度值。对于二阶多项式模型，二次模型中的项数为(D + 1)(D + 2)/2，相互作用项数为D(D -1)/2。D是输入变量的个数。如果采用多项式模型，则需要大量的样本。因此，我们不使用多项式模型。用4个维数D = 10和30的基准问题对两种算法进行了测试。
  
  表10显示了两种算法在30次独立运行中获得的平均最佳目标函数值，并突出显示了单个实例的最佳平均结果。
  
  FSAPSO在8个问题中有7个得到比FSAPSO1更好的平均值，而FSAPSO1在一个问题上得到比FSAPSO更好的平均值。这些结果表明RBF模型优于Kriging模型。一般来说，不同类型的模型适用于相应的问题。但当问题维数大于10时，Kriging模型的计算复杂度较高。
  
  RBF模型在其他代理辅助进化算法中表现出了良好的性能。因此，本文采用RBF模型。
  
  

4.6 结果分析与讨论

  SAPSO-PBEST和FSAPSO使用的所有策略除了预筛选策略外是相同的。当使用PBEST准则时，SAPSO-PBEST可以在每次迭代中选择更多的候选对象进行精确的计算。FSAPSO算法取得的更好的性能表明，对于D = 10,20,30的问题，每代评估更少的候选资源以平衡勘探和开发的效果更好。由于fe的总数是有限的，每次迭代选择太多的粒子进行精确的评估，可能会导致算法没有充分利用就停止。然而，FSAPSO和SAPSO-PBEST算法在50维问题上表现出相当的性能。如果提供了足够的fe，基于pbest的准则可能会更好，因为允许进行更多的探索。尽管CAL-SAPSO和FSAPSO算法都使用基于性能和基于不确定性的标准来选择候选者，但FSAPSO算法在大多数问题上都明显优于CAL-SAPSO算法。CALSAPSO算法实际上是一种基于模型的全局优化算法。它在每次迭代时都精确地计算集合的最优值。此外，在当前全局最优不改进的情况下，对最不确定点进行精确估计，以提高模型的精度，避免算法的停滞。在继承搜索空间中有许多未被探索的区域，在CAL-SAPSO算法中从继承空间中选取最不确定的点。虽然这有助于提高模型的精度，但对提高全局最优的贡献有限。另一方面，从粒子群中选取FSAPSO算法的精确评价点。整个粒子群一开始在继承空间中扩散，因此对不确定度最大的粒子进行评估有利于这一阶段的探索。随着虫群的演化，虫群的分散程度逐渐减小。对不确定性较大的粒子进行精确的评价，有利于探索当前全局最优点附近的区域，因为该区域比继承空间更小，更有前景，可以改进全局最优点。此外，如果不确定粒子是有希望的，蜂群可能被吸引到该区域。GORS-SSLPSO算法使用一种SL-PSO算法求解全局RBF模型的全局最优解，并对最优解进行精确评估。然而，SL-PSO只进化了某一代，然后更新RBF模型，并选择一些更好的点重新启动蜂群。GORS-SSLPSO在一开始就具有很好的探索能力，因为它只进化特定的代，这也避免了算法在模型局部最优时的停滞。当最优点接近当前最优点时，从勘探到开发逐步变化。FSAPSO和GORS-SSLPSO算法在11D fe中D = 10,20,30的函数性能比较好，这可能是在有限的fe数量下，它们都能很好地平衡勘探和开发。此外，对于大多数问题，FSAPSO算法都能比其他算法快速得到更好的解。基于性能的准则选取适合度值最佳、全局代理模型最优的粒子进行精确评价。
  
  一旦发现有潜力的区域，评价最佳粒子可以吸引蜂群对有潜力的区域进行开发。此外，全局代理模型可以粗略地逼近问题的整体适应度情况，模型的最优点可以指示出蜂群真正有潜力的区域。蜂群可以通过评估代理模型的最优值来快速开发新的有潜力的区域，并在代理模型的最优值较好的情况下用它来替代全局最优值。因此，FSAPSO的快速收敛速度主要归功于基于性能的准则。然而，由于代理模型不准确，无法准确地评价探测粒子，如果仅使用基于性能的准则，算法可能很快陷入代理模型的最优状态。基于不确定度的准则为精确的fe选择了不确定度最大的粒子。这可以增强对未开发领域的探索，提高代理模型的准确性，缓解算法的过早停滞。总体而言，基于性能的准则和基于不确定性的准则的协同作用在整个进化过程中加速了FSAPSO的收敛速度。尽管FSAPSO算法在本文所使用的50维问题上显示出了良好的效果，但FSAPSO所使用的策略可能不适用于高维问题。
  
  高维空间太大，需要更多的探索才能得到更好的解决方案。
  ## 4.7 全向螺旋桨轴承的优化设计
  全向螺旋桨广泛应用于对定位精度要求较高的船舶和钻井平台。设计具有良好抗振能力的全方位螺旋桨对提高其性能具有重要意义。此外，功率流是反映振动程度的一个重要动态指标。本文以功率流为目标，对具有良好动态性能的全向螺旋桨进行优化设计。然而，潮流的计算需要计算量大的有限元分析模拟，这使得潮流的获取成为一个黑箱问题。因此，可以利用代理来近似螺旋桨功率流与螺旋桨驱动系统中轴承的刚度、阻尼系数等几个关键结构参数之间的关系，以提高设计效率。为了说明优化问题，螺旋桨的不同模型如图9所示。采用有限元模型进行潮流模拟。
  
  优化问题可以表述为:
  
  式中ki、ci为螺旋桨内不同轴承的刚度系数和阻尼系数，kiL、kiU分别为ki的下界和上界;ciL和ciU分别为ci的下界和上界;Pj为螺旋桨中选定评价点j处的功率流;KP为分布在不同方位的评价点之和，文中设为10。Fj和vj表示第JTH评价点的力和速度。功率流是循环中力和速度的乘积的和，如(13)所定义。
  
  更多关于功率流计算和振动控制应用的细节可以在[48]中找到。设计变量的初始值为:$[k1,k2,k3,k4,k5,c1,c2,c3,c4,c5，{]}_{initial}=[3,4,3,3,4,1.5,2,1.5,1.5,1.5,1.5,2]$。螺旋桨相应的初始功率流为$P^{\ast }=22.58W$。边界定义为$k1,k3,k4\in [2,4]\times 10^{7}N/m,k2,k5\in [2,6]\times 10^{7}N/m,c1,c3,c4\in [1,2]\times 10^{7}Ns/m,c2,c5\in [1,3]\times 10^{7}Ns/m$。
  
  螺旋桨轴向结构图如图10所示。
  
  采用FSAPSO、GORS-SSLPSO、SHPSO、SAPSO-PBEST和SPSO算法对全向螺旋桨进行优化。当所有仿真点数量达到110时，优化过程就会停止，因为这涉及到昂贵的潮流模拟。每个算法重复10次进行鲁棒性比较，因为运行潮流模拟大约需要5分钟。
  
  4种算法经过10次独立运行得到的最佳目标函数值统计如表11所示，不同算法对螺旋桨设计问题的收敛曲线如图11所示。结果表明，与其他四种算法相比，本文提出的FSAPSO算法得到了最好的均值，并且达到了最快的收敛速度。
  

5. 结论与未来工作

  本文提出了一种快速的代理辅助粒子群优化算法(FSAPSO)，该算法只需要11D FEs就能解决中等规模的计算成本高的优化问题。对具有最佳预测和最大不确定性的粒子进行评估，以探索和利用搜索空间。
  
  提出了一种考虑粒子距离和适应度值信息的基于不确定度的判据来评价粒子的不确定度。综合分析证明了基于不确定度的准则的有效性。将提出的算法与七个最先进的算法进行了比较，这些算法针对7个广泛使用的不同维度(从10到50)的基准问题。实验结果表明，在大多数基准问题上，该算法都能获得明显更好的结果和更快的收敛速度。实验结果还表明，在有潜力的区域内精确地评价不确定候选点比在有限数量的搜索条件下对整个搜索空间进行不确定候选点的评价效果更好。最后，将所提出的FSAPSO算法用于求解一个10维螺旋桨设计问题，结果验证了该算法的良好性能。
  
  FSAPSO算法的探索能力有限，可能不太适合50维以上的问题。我们正在进行的研究正在解决这一限制。