MOMFEA-SADE--基于子空间对齐和自适应差分进化的多目标多任务优化算法

MOMFEA-SADE–基于子空间对齐和自适应差分进化的多目标多任务优化算法

title： Evolutionary Multitasking for Multiobjective Optimization With Subspace Alignment and Adaptive Differential Evolution

author： Zhengping Liang, Hao Dong, Cheng Liu, Weiqi Liang, and Zexuan Zhu.

journal： IEEE TRANSACTIONS ON CYBERNETICS (TCYB)

DOI：10.1109/TCYB.2020.2980888

code: [MTO-Platform/MTO/Algorithms/Multi-objective Multi-task/Multi-population/MOMFEA-SADE at master · intLyc/MTO-Platform · GitHub](https://github.com/intLyc/MTO-Platform/tree/master/MTO/Algorithms/Multi-objective Multi-task/Multi-population/MOMFEA-SADE)

1.主要贡献：

​ 1）设计了**子空间对齐策略（SA）**来最小化两个任务间的分布差异，并实现有效的高质量知识迁移

​ 2）设计了自适应DE策略来选择合适的试验向量生成方式，它会将每个产生了非支配解的DE策略存储为经验，然后估计使用不同DE策略的概率。

2.问题提出：

​ 1）在两个相关或者相似的任务间共享知识可以得到好的效果，但是实际情况中两个任务很少是高度相关的。

​ 2）在现有的多目标多任务优化算法中，非支配解的存档没有得到充分的利用。

​ 3）下图是MO-MFEA在CILS问题中得到的任务$T_1$和$T_2$在$T_1$的目标空间的种群分布。可以看出，在目标空间中的种群分布呈现出不同的特征，解决一个任务获得的知识对另一个任务的的解决没有帮助，甚至有害。

![在这里插入图片描述]() ![在这里插入图片描述]() ![在这里插入图片描述]() ![在这里插入图片描述]()

3.MOMFEA-SADE：

3.1 算法框架

​ MOMFEA-SADE的算法框架与MO-MFEA大体一致，但是引入了子空间对齐（SA）和自适应DE策略。首先，初始化种群并评估每个个体的技能因子，因子等级，标量适应度等，如1-2行所示。其次，初始化DE策略的选择概率向量，如第3行所示。然后，在每一次迭代过程都会随机选择一个父代个体，根据DE策略选择概率向量选择一个DE策略来产生试验向量，根据SA策略产生子代个体，如5-11行。接着，环境选择产生下一代种群并更新DE策略选择概率向量，如12-13行。

3.2 子空间对齐策略

​ SA先基于主成分分析（PCA）将源域数据和目标域数据投影到各自的子空间中，然后学习一个变换矩阵将源子空间映射到目标子空间。SA的目的是尽量减少源数据和目标数据之间的差异。具体流程如下：

​ 首先，利用PCA降维的方法分别得到源数据与目标数据的特征向量。

​ 然后，将保留95%信息的特征值所对应的特征向量作为基础生成源数据和目标数据的子空间，$S_1,S_2\in R^{r\times h}$，其中$r$表示源数据与目标数据的维度，$h$表示子空间的维度。通过优化线性变换函数$L$来实现了$S_1$和$S_2$的最优对齐，该线性变换称为布雷格曼矩阵，计算如下：
$$L(M)={||S_1\cdot M-S_2||}_F^2$$
其中，${||\cdot ||}_F^2$表示Frobenius范数，$M$表示可以使得$S_1$和$S_2$差异最小化的变换矩阵。$L(M)$的最优解$M^{\ast }$表示如下：
$$M^{\ast }=\arg \underset{M}{\min }(L(M))$$
解上式得到最优解$M^{\ast }$如下：
$$M^{\ast }=S_1^{\prime }\cdot S_2$$
其中，$S_1^{\prime }$表示$S_1$的标准正交，且$S_1^{\prime }\cdot S_1=I$,$I\in R^{h\times h}$是一个恒等矩阵。这也就说明$S_1$转换后的新坐标$S_1^{\ast }$计算如下：
$$S_1^{\ast }=S_1\cdot M^{\ast }$$
这样，子空间$S_1$可以通过$M_{\ast }$映射到$S_2$。因此，数据从源域到目标域的传输可以通过使用$M_{\ast }$的乘法操作来完成。

步骤一：根据目标域Q和源域P的协方差矩阵$W_Q,W_P$分别计算其特征值$E_Q,E_P$和特征向量${\Lambda }_Q,{\Lambda }_P$。
$$\begin{gathered} E_P^T{W}_P{E}_P={\Lambda }_P=diag({\lambda }_1^P,{\lambda }_2^P,...,{\lambda }_d^P) \\ {E}_Q^T{W}_Q{E}_Q={\Lambda }_Q=diag({\lambda }_1^Q,{\lambda }_2^Q,...,{\lambda }_d^Q) \end{gathered}$$
步骤二：选择能够保留95%信息的最大h个特征值对应的特征向量来构造Q和P的子空间$S_Q,S_P\in R^{d\times h}$
$$\begin{gathered} S_P=E_P^{sort}(1:h) \\ {S}_Q=E_Q^{sort}(1:h) \end{gathered}$$
步骤三：构建子空间映射矩阵$M^{\ast }$
$$S_P^{\ast }=S_P\cdot M^{\ast }$$

如下图所示，任务$T_1$和任务$T_2$之间存在较明显的差异，而经过SA策略转换后的个体更靠近任务$T_2$的种群。

3.3 自适应DE策略产生子代

​ 该策略主要是通过利用历史经验和成功的知识迁移来选择合适的试验向量生成策略。

​ 给定k个不同的策略，$a_i$记录了第i次试验向量生成策略在$g-e$和$g-1$代之间生成非主导解的次数。ai越大，说明第i次试验向量生成策略的效果越好。根据进化经验，将在第g代时使用每个试验向量生成策略的概率定义为
$$\begin{gathered} a_i=\sum _{g-e}^{g-1}{c}_i \\ {\psi }_i=\frac{a_i}{{\sum }_{i=1}^k{a}_i},subjectto\sum _{i=1}^t{\psi }_i=1. \end{gathered}$$
其中，$c_i$记录了第i个试验向量生成策略产生非支配解的次数，$e$是经验周期。

本文使用了三种常用的DE策略：“DE/best/1/bin”,“DE/rand/1/bin”,“DE/current-to-rand/1”。为了缓解这三种DE策略带来的负迁移，本文还对其进行了改进：

改进的DE/best/1/bin
$$v_{j,g}=x_{best,g}+\alpha \ast (x_{r_1,g}^{\ast }-x_{r_2,g}^{\ast })$$
改进的DE/rand/1/bin
$$v_{j,g}=x_{r_1,g}^{\ast }+\alpha \ast (x_{r_2,g}^{\ast }-x_{r_3,g}^{\ast })$$
改进的DE/current-to-rand/1
$$v_{j,g}=x_{j,g}+\beta \ast (x_{r_1,g}^{\ast }-x_{j,g})+\alpha \ast (x_{r_2,g}^{\ast }-x_{r_3,g}^{\ast })$$
其中，$x_{r_1,g}^{\ast },x_{r_2,g}^{\ast },x_{r_3,g}^{\ast }$分别是$x_{r_1,g},x_{r_2,g},x_{r_3,g}$通过SA策略映射后的个体。

4.思考

1）MOMFEA-SADE中提出来两种策略：使用子空间对齐策略（SA）来减少源任务与目标任务之间的差异，使用自适应DE策略（SaDE）来产生更优秀的子代。MOMFEA_SADE还曾在IEEE CEC2019多目标多任务优化竞赛中获胜。

2）MOMFEA-SADE为解决多目标多任务优化问题提出来了一种新的思路。不同于EMEA中离线使用的种群信息，它在线地使用子空间信息，可以更加准确地衡量任务之间的差异。其次，MOMFEA-SADE中提出的SaDE策略使用历史经验来选择合适地试验向量生成策略，可以使得生成的子代更加有效。

3）虽然MOMFEA_SADE可以取得很好的效果，但是在处理大规模问题时可能会特别耗时。