MaTEA--解决Many多任务优化问题

MaTEA–解决Many多任务优化问题

title：An Adaptive Archive-Based Evolutionary Framework for Many-Task Optimization

author：Yongliang Chen, Jinghui Zhong , Liang Feng , and Jun Zhang.

journal：IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE（TETCI）

DOI： 10.1109/TETCI.2019.2916051

code:https://github.com/intLyc/MTO-Platform/tree/master/MTO/Algorithms/Multi-task/Multi-population/MaTDE

1.主要贡献：

1）提出了一种基于KL散度(KLD)的任务相似性度量方式，来选择相似任务。

2）利用档案来记录不同任务在演化过程中的相关信息。

3）MaTEA可以解决任务到达时间不一致的问题。

2.问题提出：

1）当任务数量增多时，MFEA中的知识迁移策略可能会变得无效，因为它不能根据MaTO的环境变化来进行自我调整。因此，本文提出了一种相似任务选择策略。

2）多个任务动态到达问题，也就是说任务的到达时间是不一致的。

3.MaTEA：

1）KLD计算相似度：
$$KLD(A{c}_{c_0}||A_{c_1})=\frac{1}{2}(tr({\Sigma }_1^{-1}{\Sigma }_0)+{({\mu }_1-{\mu }_0)}^T{\Sigma }_1^{-1}({\mu }_1-{\mu }_0)-D+ln(\frac{det{\Sigma }_1}{det{\Sigma }_0}))$$
其中$A_{c_0}$和$A_{c_1}$表示任意两个任务的存档，$\Sigma$表示协方差矩阵，$\mu$表示均值向量， D = m i n { D 0 , D 1 } D=min\{D_0,D_1\} D=min{D0​,D1​}表示协方差矩阵的维度。如下图所示，由于任务维度的不一致，$KLD$是不对称的。为了使得$KLD$对称，相似度$Sim$被计算如下：
$$Sim(T_0.T_1)=\frac{1}{2}(KLD(A_{c_0}||A_{c_1})+KLD(A_{c_1}||A_{c_0}))$$

2）自适应奖励策略:

​ 由下图所示，当两个任务分布相似时，它们可能朝着不同的方向进化，因此，只考虑相似性是不够的。MaTEA中采用了自适应奖励机制来解决这样的问题。

首先，相似任务$T_a$是通过轮盘赌选择得到的，第$j$个任务的概率被计算如下：
$$\begin{gathered} probabilit{y}_t^j=\frac{scor{e}_t^j}{{\sum }_{i\ne t}scor{e}_t^i} \\ scor{e}_t^j=\rho \cdot scor{e}_t^j+\frac{R_t^j}{log(Sim(T_t,T_j))} \\ {R}_t^a=\{\begin{array}{l}{R}_t^a/\lambda ,if{p}_{best}isworsethan{p}^{\prime }\\ R_t^a\cdot \lambda ,otherwise\end{array} \end{gathered}$$
其中，$R_t^a$是选择$T_a$帮助$T_i$的奖励，$\lambda$是(0,1)内的收缩率，$scor{e}_t^j$表示任务$T_j$被选择来帮助任务$T_t$的分数。$\rho$是衰减系数，$log(\cdot )$用于限制奖励和相似性的大小。

3）知识迁移交叉：

任务$T_t$和任务$T_a$之间的知识迁移交叉是通过交叉概率$C{R}_{KTC}$控制的。
$$v^i(j)=\{\begin{array}{l}{p}_a(j),ifrand(0,1)<C{R}_{KTC}orj=k\\ p_t^i(j),otherwise.\end{array}$$

4）算法框架与实现：

首先，为每个任务都设置一个种群，存档，和进化求解器。其次，通过KLD计算任务相似度。接着，采用自适应奖励机制选择迁移任务。然后，使用知识迁移交叉来实现知识迁移。最后选择下一代种群并更新存档。

4.思考

1）在多任务优化中的异构问题：最优解距离较远，决策变量维度不一致等。AT-MFEA–解决异构多任务优化问题-CSDN博客，MTGA–采用偏差估计策略的多任务优化算法（附平台代码）-CSDN博客，G-MFEA–构建多任务优化框架解决昂贵优化问题-CSDN博客

2）迁移频率：MFEA-II–自适应迁移概率的MFEA-CSDN博客，SREMTO–自调节进化多任务优化-CSDN博客

3）在MaTEA中未曾对任务动态到达的多任务环境进行测试。