SA-MTPSO--自调整多任务粒子群优化

SA-MTPSO–自调整多任务粒子群优化

title：Self-Adjusting Multitask Particle Swarm Optimization

author：Honggui Han, Xing Bai, Huayun Han, Ying Hou, and Junfei Qiao.

journal：IEEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION(TEVC)

DOI：10.1109/TEVC.2021.3098523

code:

1.主要贡献：

1）提出了一种融合决策空间知识和目标空间知识的知识估计度量，来获取有效知识。

2）提出了一种自调整知识迁移策略来迁移有效的知识。

3）所提SA-MTPSO的收敛性分析。

2.问题提出：

​ 1）知识获取：通过知识估计度量来识别有效的知识。

​ 2）知识迁移强度的自调整：通过与进化状态相结合的方式来实现。

​ 当随机数满足rand<rmp，粒子速度和位置的更新与标准PSO的更新相同，可以描述为
$$\begin{array}{rl}{v}_{i,d}\left(t+1\right)=& \omega v_{i,d}\left(t\right)+c_1{r}_1\left(p_{i,d}\left(t\right)-x_{i,d}\left(t\right)\right)\\ & +c_2{r}_2\left(p_{g,d}\left(t\right)-x_{i,d}\left(t\right)\right)\\ x_{i,d}\left(t+1\right)=& x_{i,d}\left(t\right)+v_{i,d}\left(t+1\right)\end{array}\text{\hspace{1em}(7)(8)}$$
​ 如果rand≥rmp，粒子速度将更新为
$$\begin{array}{rl}{v}_{i,d}\left(t+1\right)=& \omega v_{i,d}\left(t\right)+c_1{r}_1\left(p_{i,d}\left(t\right)-x_{i,d}\left(t\right)\right)\\ & +c_2{r}_2\left(p_{g,d}\left(t\right)-x_{i,d}\left(t\right)\right)\\ & +c_3{r}_3\left(x_{g,d}^{\ast }\left(t\right)-x_{i,d}\left(t\right)\right).\end{array}\text{\hspace{1em}(9)}$$
​ 在（9）中，使用了一个附加的学习项$x_{g,d}^{\ast }(t)$，它是与粒子$p_i$具有不同技能因子的全局最优解。

​ 注意：根据以上分析，$x_{g,d}^{\ast }(t)$的选择决定了知识转移的质量，rmp的大小决定了MTPSO中的知识转移强度。因此，调整$x_{g,d}^{\ast }(t)$和rmp对算法的性能有很大的影响。因此，本文提出了使用

3.SA-MTPSO：

3.1 算法框架

​ SA-MTPSO包括三个部分：1）知识估计度量；2）自调整迁移方法；3）自调整知识迁移机制。其中，自调整知识迁移机制是基于知识估计度量和自调整迁移方法实现的。

​ 首先，通过知识估计度量来获得有效的知识。如何从其他任务中选择出合适的领导者是知识迁移过程的关键。

​ 然后，根据粒子群的进化状态来判断ktp。该方法根据收敛性和多样性的变化来判断进化状态。然后，设计了不同的策略，对知识迁移强度ktp进行自调整操作。

​ 最后，选择一个知识转移项来更新粒子的速度，指导粒子群的演化。

​

3.2 知识估计度量

​ 采用斯皮尔曼等级相关系数(SRCC)来估计两个任务之间的关系，它同时考虑了目标空间和决策空间的知识。

​ 1）扩展的SRCC计算如下：
$$\begin{array}{c}{R}_{a,b}\left(t\right)=\frac{\mathrm{cov}\left(r\left({\overline{\mathbf{x}}}_a\left(t\right)\right)\right),r\left({\overline{\mathbf{x}}}_b\left(t\right)\right))}{\sigma \left(r\left({\overline{\mathbf{x}}}_a\left(t\right)\right)\right)\sigma \left(r\left({\overline{\mathbf{x}}}_b\left(t\right)\right)\right)}\end{array}\text{\hspace{1em}(11)}$$
​ 其中，$r({\bar{\text{x}}}_a(t))$和$r({\bar{\text{x}}}_b(t))$是这两个任务的因子等级，$\sigma (\cdot )$为$r(\cdot )$的标准差。${\bar{\text{x}}}_a(t),{\bar{\text{x}}}_b(t)$是两个任务按照适应度值从好到坏排序后取前M个个体的均值。扩展后的SRCC与原始SRCC的不同之处在于，它可以实现实时确定不同任务之间的关系。

​ 2）目标空间知识度量：
$$\begin{array}{rl}{L}_a\left(t\right)=& \frac{{\sum }_{m=1}^M\left({\mathbf{f}}_a^m\left(t\right)-{\overline{\mathbf{f}}}_a\left(t\right)\right)}{M\sigma \left({\mathbf{f}}_a\left(t\right)\right)}\\ L_b\left(t\right)=& \frac{{\sum }_{m=1}^M\left({\mathbf{f}}_b^m\left(t\right)-{\overline{\mathbf{f}}}_b\left(t\right)\right)}{M\sigma \left({\mathbf{f}}_b\left(t\right)\right)}\end{array}\text{\hspace{1em}(12)}$$
​ 其中，$f_a(t)$和$f_b(t)$是通过计算解集 { x a ( t ) } \{x_a(t)\} {xa​(t)}和 { x b ( t ) } \{x_b(t)\} {xb​(t)}的前M个解得到的适应度向量，${\bar{\text{f}}}_a(t)$、${\bar{\text{f}}}_b(t)$和$\sigma (f_a(t))$、$\sigma (f_b(t))$分别为$f_a(t)$和$f_b(t)$的平均值和标准差。

​ 3）决策空间知识度量：
$$\begin{array}{c}{S}_{a,b}\left(t\right)=\frac{{\sum }_{m=1}^M\left({\text{g}}_{a,b}^m\left(t\right)-{\overline{\mathbf{g}}}_{a,b}\left(t\right)\right)}{M{R}_{a,b}\left(t\right)\sigma \left({\text{g}}_{a,b}\left(t\right)\right)}\end{array}\text{\hspace{1em}(13)}$$
​ 式中，$g_{a,b}(t)$是每个解 x a ( t ) ∈ { x a ( t ) } x_a(t)∈\{x_a(t)\} xa​(t)∈{xa​(t)}与任务$T_b$的最优解之间的距离，$\bar{\text{g}}{}_{a,b}(t)$和$ σ (g {a,b} (t ))$分别为$g{a,b}(t)$的平均值和标准差，$S_{a,b}(t)$表示第t次迭代时任务$T_a$和$T_b$的决策空间知识。当$S_{a,b}(t)$接近于0时，任务$T_a$和$T_b$在决策空间上具有很高的相似性。相反，$S_{a,b}(t)$越大，任务$T_a$和$T_b$之间的相似性越低。知识的有效性与任务的相似性成正比。

​ 4）知识估计度量：
$$\begin{array}{c}{E}_{i,j}\left(t\right)={\left(L_a^i\left(t\right)-L_b^j\left(t\right)\right)}^2{S}_{a,b}^{ij}\left(t\right).\end{array}\text{\hspace{1em}(14)}$$
$E_{i,j}(t)$的值越大，$p_j$所携带的知识对$p_i$的效果就越低。在极限情况下，$E_{i,j}(t)$的值为0，这意味着$p_j$所携带的知识对$p_i$是最有效的。

3.3 自调整迁移方法

本文介绍了一种基于进化状态的自调整转移方法来调整知识转移强度ktp。该方法的基本思想描述如下：

收敛性和多样性度量旨在判断当前的进化状态，根据进化状态选择合适的ktp。

1）收敛性度量：
$$\begin{array}{c}\overline{C}\left(B\left(t\right),B\left(t-1\right)\right)=\frac{1}{K}\sqrt{\sum _{k=1}^K{d}_k^2\left(t\right)}\end{array}\text{\hspace{1em}(15)}$$
​ 其中，$B(t)$为该算法在第t次迭代中生成的最优解集，$B(t-1)$是该算法在(t−1)迭代中生成的最优解集，K为任务数，和$d_k(t)$是最优解集$B(t)$中的第k个任务解与最优解集B(t−1)中的最近解之间的欧氏距离。

​ 如果$\bar{C}(B(t),B(t-1))>0$，则第t次迭代的最优解与(t−1)迭代的最优解不同，算法处于进化阶段。如果满足$\bar{C}(B(t),B(t-1))=0$，则第t次迭代的最优解与第(t−1)迭代的最优解相同，算法处于停滞阶段。

2）多样性度量：
$$\begin{array}{c}D\left(t\right)=\sqrt{\frac{1}{K-1}\sum _{k=1}^K{\left(\overline{d}\left(t\right)-d_k^{\ast }\left(t\right)\right)}^2}\end{array}\text{\hspace{1em}(16)}$$
​ 其中$D(t)$为第t次迭代中算法生成的最优解集的多样性度量，$d_k^{\ast }(t)$是算法在第t次迭代中所得到的最优解集中，第k次任务解与其他任务解之间的最小欧氏距离，$\bar{d}(t)$是所有$d_k^{\ast }(t)$的平均值。

​ 如果D(t)>D(t−1)，则由当前迭代生成的最优解集的多样性是很差的。否则，就表明了当前迭代所产生的最优解集的多样性优于前一次迭代。

3）自调节迁移方法由以下三种策略组成：

​ 策略1：如果算法处于进化阶段，即$\bar{C}(B(t),B(t-1))>0$，则参数ktp的值将有助于第t次迭代时算法的优化过程。因此，ktp应保持不变，以获得最优解
$$\begin{array}{c}\mathrm{ktp}\left(t+1\right)=\mathrm{ktp}\left(t\right)\end{array}\text{\hspace{1em}(17)}$$
其中，ktp(t)表示第t次迭代时的ktp，ktp(t+1)表示第(t+1)迭代时的ktp。策略1旨在确保解的收敛性。

​ 策略2：如果总体不再接近全局最优解，且多样性优于前一次迭代，则算法将处于多样性状态，即$\bar{C}(B(t),B(t-1))=0$&$D(t)<D(t-1).$参数ktp的值应该被降低
$$\begin{array}{c}\mathrm{ktp}\left(t+1\right)=\mathrm{ktp}\left(\mathrm{t}\right)/\left(1+{\mathrm{e}}^{-\mathrm{D}\left(\mathrm{t}\right)}\right)\end{array}\text{\hspace{1em}(18)}$$
式中，$1/(1+e^{-D(t)})$表示一个根据D(t)降低ktp(t)的值的非线性函数。策略2的目标是降低知识转移的强度，抑制负转移。

​ 策略3：如果总体不再接近全局最优解，且多样性小于前一次迭代，则算法将处于收敛状态，即$\bar{C}(B(t)，B(t-1))=0$&$D(t)\ge D(t-1)$。为了提高算法的全局探索能力，防止种群陷入局部最优，参数ktp的值应该增加，如（19）中所示。
$$\begin{array}{c}\mathrm{ktp}\left(t+1\right)=\mathrm{ktp}\left(t\right)\left(1+e^{-D\left(t\right)}\right)\end{array}\text{\hspace{1em}(19)}$$
式中，$1/(1+e^{-D(t)})$表示一个根据D(t)增加ktp(t)的值的非线性函数。策略3的目标是增加有效的知识转移，促进人口多样性。

3.4 自调整知识迁移机制

​ 自调整知识迁移机制包含两个部分：首先，计算知识估计度量来寻找有效的知识转移项$p_g^{\ast }(t)$，如算法3的14-20行。其次，根据进化状态更新知识迁移强度ktp，如算法3的5-12行，3.3小节已经讲述了ktp的更新过程。

1）知识转移项$p_g^{\ast }(t)$的选择：

​ 如果$E_{i,j}(t)\le E_{i,j}(t-1)$，则选择第t次迭代时$E_{i,j}(t)$的最小值对应的知识转移项进行指导。如果$E_{i,j}(t)>E_{i,j}(t-1)$，则在第(t−1)迭代时保持知识转移项。
J = a r g m i n J ∈ { 1 , 2 , … , K } { E i , j ( t ) } . \begin{equation*} J={\mathrm{ argmin}}_{J\in \left \{{ 1,2,\ldots,K}\right \}} \left \{{ E_{i,j} \left ({t}\right)}\right \}.\tag{20}\end{equation*} J=argminJ∈{1,2,…,K}​{Ei,j​(t)}.​(20)​

$$\begin{array}{r}{\text{p}}_g^{\ast }\left(t\right)=\{\begin{array}{l}{\text{p}}_J\left(t\right)E_{i,j}\left(t\right)\le E_{i,j}\left(t-1\right)\\ {\text{p}}_J\left(t-1\right)E_{i,j}\left(t\right)>E_{i,j}\left(t-1\right)\end{array}\end{array}\text{\hspace{1em}(21)}$$

​ 其中，$p_g^{\ast }(t)=[p_{g,1}^{\ast }(t),p_{g,2}^{\ast }(t),\dots \dots ,p_{g,D}^{\ast }(t)]$用于粒子$p_i$的速度更新，它与粒子$p_i$有不同的技能因子，$p_J$表示第t次迭代时任务J的全局最优解。

2）速度更新：
$$\begin{array}{rl}{\text{v}}_i\left(t+1\right)=& \omega v_i\left(t\right)+c_1{r}_1\left({\text{p}}_i\left(t\right)-{\text{x}}_i\left(t\right)\right)\\ & +c_2{r}_2\left({\text{p}}_g\left(t\right)-{\text{x}}_i\left(t\right)\right)+c_3{r}_3\left({\text{p}}_g^{\ast }\left(t\right)-{\text{x}}_i\left(t\right)\right)\\ {\text{x}}_i\left(t+1\right)=& {\text{x}}_i\left(t\right)+{\text{v}}_i\left(t+1\right).\end{array}\text{\hspace{1em}(22)(23)}$$

4.思考

1）本文分析并总结了基于PSO的多任务进化的两个关键点：知识迁移强度和知识转移项$p_g^{\ast }(t)$。SA-MTPSO提出了结合目标空间和决策空间的知识估计度量来选择知识迁移项$p_g^{\ast }(t)$，并使用多样性和收敛性度量来更新知识迁移强度ktp。

2）SA-MTPSO是处理单目标多任务的，如何扩展为多目标多任务的问题还需要进一步考虑。

3）如果任务间最优解距离较远，选择不出更有效的$p_g^{\ast }(t)$来知道当前任务的进化该怎么办。

4）考虑目标空间和决策空间的知识估计度量为任务相似性的计算引入了一种新的思路。