《Evolutionary Computation for Expensive Optimization：A Survey》笔记

1 总优化成本

  昂贵优化问题（Expensive optimization problem, EOP）是指需要花费昂贵的甚至无法负担的成本来评估候选解的问题，这种问题广泛存在于许多重要的现实应用中。进化计算（Evolutionary computation, EC）算法由于可以在不需要梯度信息的情况下高效地找到令人满意的解，被广泛应用于求解昂贵优化问题。
  利用进化计算求解昂贵优化问题的总成本可定义为：

其中$O(C)$是每一次昂贵评估的平均成本；$O(N)$表示求解该问题的进化计算算法相对于评估次数的时间复杂度（即为找到一个满意解而需要进行的总评估次数）；$P$是由并行和分布式计算技术提供的优化加速。
  昂贵优化中的关键问题是昂贵的适应度和约束评估，即在式(1)中的$O(C)$将非常大，这导致了一个无法负担的Total_cost。但式(1)也表明可以从三个方面进行努力来更有效地求解昂贵优化问题。这三个方向分别是减少$O(C)$、减少$O(N)$和增加$O(P)$。具体可以概括为利用问题近似和替换来降低评价成本，从而减少$O(C)$；设计先进的进化计算算法来提高搜索效率，从而减少$O(N)$；采用并行和分布式计算，通过增加$O(P)$来加速优化，如图1所示。

图1 减少昂贵优化成本的三个方向。

2 现有工作分类

  根据以上内容和分析，本文将现有关于昂贵优化问题的进化计算工作分为四个部分，如图2所示。具体来说，第一部分（即问题近似和替换）包括问题简化、适应度近似、约束近似和多保真度替换；第二部分（即算法设计和增强）介绍优化框架和范式、新操作算子、适应度继承、混合算法和配置；第三部分（即并行和分布式计算）考虑加速近似和优化；第四部分（即现实应用）是关于现实的案例研究和来自现实应用的竞赛和基准。

图2 现有工作分类。

2.1 问题近似和替换

  在许多优化问题中，用于评估解的数值或精确目标/约束函数可能不存在。在这种情况下，候选解只能通过计算昂贵的数值模拟或物理实验来评估，例如风洞实验。这对进化计算提出了很大的挑战，因为大多数进化计算算法都是基于适应度评估进行进化优化的。为了解决这一问题，降低优化难度，近似方法得到了广泛的研究。一般来说，现有的近似方法主要可以分为四类：问题简化，适应度近似，约束近似和多保真度替换。

• 问题简化：当初始优化问题计算量大时，问题简化是一种简单而有效的方法。问题简化的目的是将原昂贵优化问题简化为一个可获得的更具有计算效率的问题模型，从而减轻昂贵的计算负担。
• 适应度近似：与简化原始问题的问题简化方法不同，适应度近似直接近似（代理模型方法）或预测（适应度模仿方法）候选解的适应度值，从而降低执行适应度评估的昂贵成本。
    1）代理模型方法：在数学上，对于一个连续函数，近似适应度函数$f(x)$所预测的候选解$x$的适应度值与真实适应度函数$F(x)$所给出的适应度值之间的关系可以表示为：$F(x)=f(x)+\epsilon (x)$，其中$\epsilon (x)$表示$f$在$x$上的近似误差。通常代理模型适应度近似方法是基于评估数据（即由原始昂贵适应度函数所评估的解）来近似原始适应度函数。在此基础上，采用近似适应度函数（也称为代理模型）替代原始适应度函数，对未评估的候选解进行评估。在这种端到端方法中，适应度近似只需要关注候选解与其真实适应度之间的关系。因此具有很强的泛化能力，被广泛用于求解各种昂贵优化问题。（代理模型方法主要包括三个步骤：数据处理，代理模型构建，模型更新和管理。）
    2）适应度模仿（Fitness Imitation）方法：除了通过机器学习方法找到一个通用的近似函数（代理模型）外，适应度模仿也被用来评估个体。一般来说，适应度模仿方法是根据与新个体相关的被评估个体来预测新个体的适应度。
• 约束近似：现实优化问题通常包含需要满足的约束条件，然而在适应度评估过程中访问约束函数的开销可能很大。因此许多研究都是通过约束近似来处理代价昂贵的约束函数。与适应度近似相似，昂贵约束函数也可以通过端到端的方式近似，从而降低适应度评估中昂贵的计算代价。因此适应度近似方法也可以用于约束近似，即采用一个模型建模所有约束或采用多个模型分别建模多个约束。与适应度近似相比，约束近似的独特性在于如何处理近似的约束，它可以分为两大类：基于完全约束和基于部分约束的处理技术。
    1）完全约束：这类方法通过近似处理所有约束。在逼近约束函数后，进化计算算法可以使用约束处理技术生成可行解。常见的约束处理技术包括 penalty method、repair method、multi-objective method、epsilon level comparison method；
    2）部分约束：与考虑所有约束相比，基于部分约束的处理技术旨在在不降低最终解决方案质量的情况下，利用一些有代表性的约束替换所有约束，从而降低访问不必要的约束求值的代价。
• 多保真度替换：在许多现实优化问题中，适应度评估的保真度（即精度水平）和计算成本可以通过各种设置和配置（如仿真时间）进行修改。因此在评估的保真度水平和相应的计算成本之间有一个权衡。此外还可以结合多个不同保真度或精度水平的近似方法以获得更好的最终模型。在此基础上，多保真度替换研究了如何获得一个在评估保真度和计算成本之间取得更好平衡的多保真度评估模型，以替代昂贵的原始适应度评估。
  
  

2.2 算法设计和增强

  除了昂贵优化问题，评估进化计算算法在解决非昂贵问题时的效率也非常重要，这导致了许多通过算法设计和增强来提高算法效率的研究。因此现有的大量针对非昂贵问题的算法效率提升方法也可以用来求解昂贵优化问题。但本文只对昂贵优化问题中提高进化计算算法效率的相关工作进行回顾，可以分为四个部分：优化框架和范式、新操作算子、适应度继承、混合算法和配置。

• 优化框架和范式：由于不同的昂贵优化问题具有不同的特点，使用合适的优化框架和范式可以更有效地解决目标问题。为了求解各种昂贵优化问题，常见的优化框架包括多种群/多群进化、协同进化、基于分解的进化；广泛使用的优化范式包括单目标优化、多目标优化、约束优化、多模优化、混合变量优化、多任务优化。
• 新操作算子：设计新颖的进化算子有助于加快算法的收敛速度，提高算法的优化精度，从而更有效地求解昂贵优化问题。
• 适应度继承：适应度继承类似于适应度近似，两者都试图通过估计某些个体的适应度来减少对昂贵适应度评估的需求。但是它们的不同之处在于适应度继承是基于进化算子给出的个体关系而设计的，而适应度近似没有考虑进化计算中的进化算子。一般来说，适应度继承是根据进化过程中其他相关个体的适应度来计算候选个体的适应度，例如交叉算子中的父个体。由于适应度继承的思想与问题逼近和替换的方法有相似之处，因此将他们相结合可能更有助于有效地求解昂贵优化问题。
• 混合算法和配置：鉴于不同的算法可能适用于不同的昂贵优化问题，因此混合算法也被考虑用于更有效地解决各种昂贵优化问题。
  
  

2.3 并行和分布式计算

  当评估候选解的计算成本较高时，可以使用并行和分布式技术来加速优化和降低计算时间成本。现有的相关工作大致可以分为两类，即加速近似和加速优化。

3 未来工作

  本文从理论-方法-应用三个层面考虑并讨论了未来的五个潜在研究方向，如图3所示。

图3 潜在研究方向和未解决的问题。

• 深层次的理论分析：针对昂贵优化问题的进化计算由于结合了问题近似、新颖的算子和并行化方法而变得更加复杂，因此澄清优化精度和优化效率之间的权衡是否可以接受，以及如何实现这种权衡将变得更加困难。除了基于基准函数的数值研究外，还需要对针对昂贵优化问题的新型进化计算算法进行更深入的理论分析，以阐明在进化计算搜索过程中引入新方法的影响。
• 搜索多样性：由于近似方法在某些搜索区域可能存在近似偏差和不确定性，使得多样性较小的种群陷入近似模型所示的局部最优状态。因此，提高算法的搜索多样性以尽可能减少近似模型的负面影响，可能是一个潜在的研究方向。
• 自适应配置和控制：由于适应度评估的昂贵，通过试错的方式来配置一个新问题的进化计算和近似模型的参数是不可能的。因此对包括代理模型管理在内的算法进行自适应、自动的配置和控制，将是获得一个能够很好地解决各种新出现的问题和应用的算法的必要研究方向。
• 知识的学习和利用：昂贵的适应度评估对从问题中获取有用的知识和信息以改进搜索过程提出了巨大挑战。因此考虑采用先进的知识学习和利用方法来改善进化计算将是一个很有吸引力的问题，比如小样本学习，自监督学习，以及从相关问题和场景中进行知识迁移。
• 在不同问题上进行测试：进化计算对昂贵优化问题的良好性能主要研究连续问题，主要集中在多目标、约束问题等几种优化问题领域。然而进化计算在更复杂问题中的应用还不够，比如离散和组合、多任务、动态、多目标和多模态问题。因此探索如何针对这些复杂问题设计出有效、高效的进化计算算法是未来的一个潜在研究方向。