1.[论文分享] 进化多任务优化

标题	What makes Evolutionary Multi-Task Optimization Better: A Comprehensive Survey
作者	Hong Zhao; Xuhui Ning; Xiaotao Liu; Chao Wang; Jing Liu
机构	Guangzhou Institute of Technology, Xidian University
邮箱	hongzhao@xidian.edu.cn; xhning@stu.xidian.edu.cn
论文	https://doi.org/10.1016/j.asoc.2023.110545

1.摘要

进化多任务优化(Evolutionary multi-task optimization, EMTO)是进化算法(Evolutionary algorithm, EA)的一个新分支，其目标是在同一个问题中同时对多个任务进行优化，并为每个任务输出最优解。EMTO利用EA的优势来执行全局优化，而不依赖于问题的数学性质。因此EMTO特别适用于复杂、非凸和非线性问题。与传统的单任务EA不同，EMTO可以同时处理多个优化问题，并可以在这些不同的问题之间自动传递知识。EMTO为解决多任务优化问题提供了一种新颖的方法，引起了进化领域许多研究者的关注。由于EMTO具有强大的并行搜索能力，人们对EMTO提出了许多优秀的理论和应用研究。为了更好地整理这些值得尊敬的研究成果，并对未来的研究人员有所启发，本文从以下三个方面对EMTO的相关工作进行了综述。首先，许多研究都是通过各种优化策略来提高EMTO的性能。通过深入分析和回顾当前关于这一主题的文献，我们对这些策略进行了全面的总结。其次提供了EMTO的实际应用示例，以及它与其他优化范例的结合。这些例子说明了EMTO的广泛适用性。最后提出了未来EMTO研究的一些可能方向，以启发这一领域的研究人员。

2.创新点

(1) 从多个方面对EMTO的优化方法进行了综合分类和分析。(2) 总结和分类EMTO组合范式以及EMTO的应用现状。(3) 分析了EMTO的潜在研究方向，启发研究者探索新的机遇和挑战。

3.分类大纲

处理多任务问题的关键是高效、高质量的知识转移，EMTO的性能在很大程度上依赖于知识转移。本节介绍EMTO中使用的知识类型和主要优化策略。下图提供了EMTO优化策略的分类图，本文内容按照图所示的顺序展开。

知识的表示

在设计任务中的知识转移策略之前，首先要考虑知识的表示。应该根据优化问题的特点来选择需要转移的知识。第一种方法是直接表示，将知识表示为解决任务时产生的潜在解，然后将这些解的对应个体直接添加到目标人群中。这种方法被广泛使用，但它对任务之间的相关程度很敏感。当任务相关性较低时，性能就会受到影响。此外，在处理异构问题时，直接表示往往会传递过多的冗余信息。第二种知识表示方法是将知识表示为任务求解过程中获得的有效搜索方向。该方法的最大优点是，当不同任务的最优解彼此距离较远时，有助于局部最优的种群逃逸。另一种方法是使用生成模型表示，我们可以基于可行解构建一个生成模型，并用它来表示知识。通过映射这些生成模型之间的关系，我们可以深入了解如何在解决方案之间传递知识。此外，将知识表示为元知识。这包括特定于任务的知识(即每个任务的解决方案)以及跨不同任务的这些解决方案之间的任何关系。

利用任务之间的相关性进行知识转移

使用该策略的动机是:EMTO的表现很大程度上取决于任务之间的相似性，来自相似任务的知识往往起到促进作用，而来自不相关任务的知识则起相反的作用。因此许多研究者将研究重点放在了精确测量任务相似性，并选择最合适的任务从中获取知识上。如下图所示，任务相似度可以在客观空间和决策空间进行测量，包括使用最大平均差异来测量决策空间中的相似性，以及使Spearman等级相关系数或跨任务适应度距离相关来测量客观空间中的相似性。

显示知识转移

在经典的EMTO中，任务间的知识转移是隐性地通过亲本个体交叉过程中遗传物质的转移发生的。然而对于不同的任务使用相同的交叉算子可能并不总是有效的。为了解决这一限制，明确的知识转移被开发出来，它使每个任务能够选择合适的知识转移算子，而代价是额外的努力来搜索两个任务的解之间的关系。

多种群

多群体可以使EMTO更加灵活，如下图所示，可以同时采用不同的基于群体的搜索算法，不同群体之间发生知识转移。

转换搜索空间

由于统一搜索空间中任务维度的差异，造成原始EMTO中低效的知识转移。为了解决该问题，将不同任务的解编码在统一搜索空间的统一解中，这种方法在交叉时可能造成无用的甚至是负的知识转移。为了克服这一点，如下图所示，可以将源域和目标域映射到各自的子空间，并学习两个子空间的映射，然后根据映射完成知识转移。

资源配置的优化策略

探索资源配置对EMTO来说很重要。如下图所示，为每个任务分配相同的计算资源可能会导致计算难度高的任务资源不足，而计算难度低的任务资源过剩。需要根据任务的计算难度公平地分配资源。

4. EMTO与其他范式结合

本节主要从EMTO优化的角度讨论EMTO与其他优化范式。

EMTO与MOO

多目标多因子优化是指使用EMTO来处理多个MOO问题，，每个个体的因子排名由非支配排名(NF)和拥挤距离(CD)来评估，当满足NFm < NFn或NFm = NFn & CDm < CDn时，第m个个体优于第j个个体。多目标多因子EA (Multi-objective multifactorial EA, MO-MFEA)是第一个多目标EMT算法，MO-MFEA利用任务间的知识转移，已被证明优于相应的单多目标算法。到目前为止，关于多目标EMT的研究已经很多，从EMTO优化策略的角度总结了现有多目标EMTO的特点如下表所示。

EMTO与昂贵优化

EMTO用于昂贵的优化解决昂贵的优化问题需要难以承受的计算成本。由于计算成本昂贵，传统ea不适合解决昂贵的优化问题。现有的一种思路是利用EMTo知识转移的机制特征。比如通过利用计算成本低廉的问题知识来解决昂贵的问题。

EMTO与组合优化

在处理组合问题时，原始EMTO中的随机密钥统一表示可能会导致大量冗余信息和解码效率低，因此，设计统一的解表示和有效的针对问题的解码算子是一个主要挑战。因此，如下表所示，现有的相关工作大多致力于设计特定于问题的编解码方案和交叉运算符。

5. EMTO实际应用

EMTO可以处理多个任务，并利用不同优化任务之间的相关性，作为一种有效且鲁棒的多任务优化器，多个科学和工程领域的研究人员已经将EMTO应用于扩展相关理论或解决其所在领域的实际优化问题(EMTO应用总结如下图所示)。

从优化EMTO的角度来看，应用EMTO解决现实问题需要设计针对问题的演化算子和知识转移机制。基于此，将现有应用分类于下表，涵盖网络优化、复杂系统、工业、制造业、数据挖掘、机器学习、模式识别、图像处理等。

6. 未来方向

EMTO旨在同时优化多个任务，这些任务之间可能存在相关性。以前的研究主要集中在建模和利用这些任务相关性来提高EMTO算法的性能。这包括解决与转移什么知识、如何转移以及何时转移相关的问题，以提高EMTO的有效性。然而目前的研究格局也存在一定的弱点。首先，许多现有的工作主要关注基准性能，没有充分考虑现实应用中异构和大规模优化任务带来的挑战。现实场景通常涉及复杂多样的任务，要求EMTO算法在处理此类变化时具有适应性和鲁棒性。其次在知识转移过程中存在转移冗余甚至负知识的风险。开发能够识别和过滤掉不相关或有害知识的方法至关重要，以确保只有有价值的知识在任务之间转移。此外，EMTO算法的理论性能分析和属性推导相对匮乏。深入了解EMTO的理论基础，包括性能界限、收敛特性和泛化能力，可以为算法设计和优化提供有价值的见解。

7. 总结

本文从优化策略的角度对EMTO进行了综述。旨在总结EMTO的研究进展，对现有的优化策略进行分类，并突出最新的应用场景。尽管在这一领域的出版物越来越多，但EMTO仍被认为是处于早期阶段的新兴范例。EMTO的许多潜在应用仍未被探索。本调查的主要目的是协助研究人员了解EMTO的概念，促进相关领域的进一步研究，并有助于系统组织现有工作。通过增加兴趣和产生新的想法，我们希望推动EMTO的发展，并为这一有前途的研究领域的未来发展铺平道路。