论文学习-动态多目标优化的多目标进化策略

论文题目：Multiobjective Evolution Strategy for Dynamic Multiobjective Optimization

动态多目标优化的多目标进化策略（Kai Zhang, Chaonan Shen, Xiaoming Liu , and Gary G. Yen）IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION, VOL. 24, NO. 5, OCTOBER 2020

刚开始学习多目标优化算法，不作商业用途，如果有不正确的地方请指正！

个人总结：

摘要

• 本文提出了一种新颖的基于进化策略的进化算法，命名为DMOES，该算法能够快速有效地解决动态环境下的多目标优化问题。
• 首先，设计了一种高效的自适应精度可控变异算子，用于个体对决策空间的探索和利用。
• 其次，模拟的各向同性磁性粒子小生境能够引导个体保持均匀的距离和幅度，自动逼近整个帕累托前沿。
• 第三，非支配解( NDS )引导的移民可以通过对NDS和支配解分别采取两种不同的策略来促进人口收敛。
• 算法在应对环境变化时，以更少的种群规模和更低的计算成本来获得一个收敛性和多样性良好的pareto前沿，如果个体越多，得到的近似前沿的轮廓越尖锐。
• 最后通过一系列实验表明，与一些最先进的动态多目标进化算法相比，该算法提供了具有竞争力的性能，有时甚至更好。

引言

近年来，一些先进的动态多目标优化进化算法( DMOEAs )被提出用于求解DMOPs，这些算法针对环境变化提出了许多有效的变化反应机制，以快速跟踪新的帕累托最优集( PS )和新的帕累托最优前沿( PF )。

做动态多目标优化进化算法的一些挑战：

• 为了应对环境变化下没有足够的时间来搜索最优解，算法需要有一定的收敛能力。
• 由于先前的解在新环境中可能不是最优的，所以算法需要保持种群内部的多样性。
• 由于时间上和内存容量上的约束，算法还要有良好的种群管理和计算复杂度。

进化策略（Evolution Strategy）

进化策略( Evolution Strategy，ES )作为一种有效的替代方法，已被证明是一种强大而有效的优化技术，ES已被广泛用于求解各种多目标优化问题。为了获得一组多样性良好的解，许多多样性保持方法已经被很好地集成到ES中，使得种群能够轻松地保持多样性。

然而，现有的大多数设计仍然需要较大的种群规模来进行排序、选择和繁殖。如果这个问题能够得到适当的关注，基于ES的MOEA可以很好地解决DMOPs。

本文提出的想法

提出了一种新的用于求解DMOPs的多目标进化算法，命名为DMOES。

• 首先，提出一种高效的"精度可控变异算子"，以产生具有所需精度的新变异个体，进而减少不必要的计算开销。
• 其次，提出了一种新颖的"模拟各向同性磁性粒子小生境"策略来提高种群多样性，该概念模仿磁场中各向同性的磁性粒子，引导个体保持与最近邻个体的均匀距离，并自动扩展以逼近整个Pareto解集。
• 第三，"非支配解( NDSs )引导移民"提供了两种不同的收敛策略，可以分别增强其对NDSs和支配解( DSs )快速追踪新PF的能力

背景及相关工作

A.动态多目标优化基础

定义了pareto支配，动态pareto最优解，动态pareto最优解集，动态pareto前沿

B.相关工作

讲述了一些以前提出的解决动态多目标问题的优化算法。

C.动机

一般来说，在有限时间来响应变化时，现有的DMOEAs必须要面对以下几个挑战：

1. 当环境发生变化时，已有的在t时刻收敛良好的PSt / PFt在t + 1时刻可能不再是最优的。在新的环境下，DMOEA必须在有限的时间内快速收敛到新的PFt + 1。
2. 为了逼近整个PFt + 1曲面，现有的DMOEAs必须保持非常大的种群规模，这在无意中导致了昂贵的计算成本和较差的跟踪效率。
3. 当环境发生变化时，对于给定的DMOP，新的PSt + 1可能在其表面膨胀或收缩。

小生境类型的方法受到了挑战，以在有限的时间内获得多样性良好的解而不失去收敛性。

受到磁场中各向同性磁性粒子的启发，它们会自动地相互排斥，自然地与最近邻保持均匀的距离，同时尽可能地延伸整个磁场。

我们提出了一种用于解决DMOPs的ES，命名为DMOES，它可以很好地解决上述挑战，以较少的种群规模获得良好收敛和均匀分布的PS / PF。

算法详情

DMOES中迭代运行为三个主要过程，具体为精度可控的突变，模拟各向同性磁性粒子小生境，和NDSs引导迁移。

• 首先，精度可控的变异算子可以产生新的具有所需搜索精度的个体用于决策空间的开发和探索。
• 其次，模拟的各向同性磁性粒子小生境能够引导个体保持一致的距离和幅度，自动逼近整个Pareto前沿。
• 最后，"NDSs"引导的移民能够有效地改善人口收敛，对"NDSs"和"DSs"分别采取了两种不同的收敛策略。

A.精度可控的变异算子(Precision-Controllable Mutation Operator)

为了既能够在目标解附近的局部区域探索加快收敛，又要在远离目标解的地方进行全局探索保持种群多样性，提出了以下算法：

• 由对比图可以看出开发和探索的区别
• 下面是算法伪代码：

• 

B.模拟各向同性磁性颗粒小生境

什么是小生境技术（niching）：

•  通过反应个体之间的相似程度的共享函数来调节种群中个体的适应度。
• 小生境技术就是将每一代个体划分为若干类，每个类中选出若干适应度较大的个体作为一个类的优秀代表组成一个群，再在种群中，以及不同种群中之间，杂交，变异产生新一代个体群。

在作者提出的算法中，提出了一种新颖的小生境策略来模仿各向同性的磁性粒子在磁场中的行为，引导个体保持一致的距离和延伸来自动逼近整个Pareto前沿。

小生境距离，被定义为MED：

• MED值越大意味着个体扩展了整体边界，个体获得了更好的距离。
• 若NDSs中的原始解与变异后的新解互不支配，则应选择MED值较大的距离较好的解。
• 伪代码如下：

• 

   

C.非支配解指导移民 

为了快速跟踪新的PFt，我们的算法为NDSs和DS设计了不同的收敛策略。一方面，NDS中的个体可以被具有更好收敛特性的非支配变异新解所替代。

如图所示

设u为NDS中的个体，v是u生成的新解，当v支配u时，变异解v可以代替u。另一当面，如果v被原来的解u支配，v将被忽略；当它们两个互不支配事，看MED的值，大的可以替代小的。 

另一方面，DS中的个体可以被与NDS距离更近的变异新解所替代。 

计算公式为：

如图所示： 

设u是DS中的个体，v是由u生成的新解，当v在决策空间中有较小的MinDist2NDS值，这意味着v比u更接近NDS，变异解v可以代替u。

这样，NDSs可以引导整个种群收敛到新的PFt。此外，NDS和DS的划分不仅是为了收敛，也是为了多样性。对DS中的个体进行小生境计算或维持分布会浪费大量的计算资源，所以只有NDS需要计算小生境距离。

D.算法整体

环境变化监测时DMOPs成功的关键设计部分。在作者提出的算法中，10 %的推荐个体将被随机选择并重新评估以进行变化检测。

算法总体伪代码如下：

整体计算复杂度为O(MP2) 

实验对比

总结

提出了一种基于ES的求解DMOPs的进化算法。首先，一个高效的自适应精度可控变异算子可以产生新的个体来探索和利用具有所需搜索精度的决策空间。对于较小的决策空间，搜索精度越小，收敛速度越快。其次，新的小生境技术模仿了各向同性的磁性粒子，它引导个体保持均匀的距离和扩展来自动逼近整个Pareto前沿。第三，NDSs引导的移民提供了两种不同的收敛策略，可以有效减少不必要的计算量，提高在变化环境下快速收敛到新PF的能力。此外，当环境发生变化时，DMOES可以以更少的种群规模和更低的计算复杂度获得收敛性和多样性良好的PSt / PFt。