MFEA-GSMT--通过基因相似性和镜像转换来解决多任务优化问题

MFEA-GSMT–通过基因相似性和镜像转换来解决多任务优化问题

title：Improving Evolutionary Multitasking Optimization by Leveraging Inter-Task Gene Similarity and Mirror Transformation

author：Xiaoliang Ma, Yongjin Zheng, and Zexuan Zhu, Xiaodong Li, Lei Wang, Yutao Qi, Junshan Yang.

journal：IEEE COMPUTATIONAL INTELLIGENCE MAGAZINE(IEEE CIM)

DOI：10.1109/MCI.2021.3108311

code:

1.主要贡献：

1）提出了基于基因相似性的知识迁移策略来提高仅有少量样本的高维空间的知识迁移效率。

2）提出了一种基于对立学习的镜像转换，来保持种群多样性。

2.问题提出：

1）在只有少量样本的高维空间中，整个种群的分布估计可能非常困难且不精确。

2）现有的基于对立点和广义对点的对立学习OBL策略只能搜索空间中的一个点或一条一维线（如下图所示），在大规模问题中探索能力有限，有时可能导致过早收敛。

对立点定义：给定一个点$x=(x_1,x_2,...,x_n),x_i\in [l_i,u_i]$，$l_i,u_i$是$x_i$的上下界。则对立点$\bar{x}=({\bar{x}}_1,{\bar{x}}_2,...,{\bar{x}}_n)$定义如下：
$${\bar{x}}_i=l_i+u_i-x_i,i=1,2,...,n.$$
广义对立点$\hat{x}=({\hat{x}}_1,{\hat{x}}_2,...,{\hat{x}}_n)$定义如下：
$${\hat{x}}_i=\alpha (l_i+u_i)-x_i,i=1,2,...,n.$$

3.MFEA-GSMT：

1）算法框架：

如下图的算法1所示，MFEA-GSMT与MFEA的算法流程大致相似，主要区别在于如下三步操作：

首先，计算基于KLD任务间基因相似性（第6行）；其次，基于基因相似性来进行选择性交叉（第11行）；最后，镜像转换（第12-14行）

2）任务间基因相似性:

给定一个技能因子为$k$，拥有$N_k$个$n$维个体的子种群 P = { X 1 , . . . , X N k } P=\{X_1,...,X_{N_k}\} P={X1​,...,XNk​​}，其中 X l = { x l , 1 , . . . , x l , n } X_l=\{x_{l,1},...,x_{l,n}\} Xl​={xl,1​,...,xl,n​},$l=1,...,N_k$。则使用正态分布${\mathcal{N}}_{k,i}({\mu }_{k,i},{\sigma }_{k,i}^2)$来估计基因相似性如下：
$$\begin{array}{rl}{\mu }_{k,i}& =\frac{1}{N_k}\sum _{l=1}^{N_k}{x}_{l,i},i=1,\dots n\\ {\sigma }_{k,i}^2& =\frac{1}{N_k-1}\sum _{l=1}^{N_k}(x_{l,i}-{\mu }_{k,i}{)}^2,i=1,\dots n\end{array}$$
接着，两个基因分布的KLD可以通过如下公式计算：
$$KLD\left({\mathcal{N}}_{k_1,i}\Vert {\mathcal{N}}_{k_2,j}\right)={\log }_2\frac{{\sigma }_{k_2,j}}{{\sigma }_{k_1,i}}+\frac{{\sigma }_{k_1,i}^2+({\mu }_{k_2,j}-{\mu }_{k_1,i}{)}^2}{2{\sigma }_{k_2,j}^2}-\frac{1}{2}\text{\hspace{1em}(5)}$$
其中${\mathcal{N}}_{k_1,i}({\mathcal{N}}_{k_2,j})$表示第i（第j）个基因在与相关任务$k_1(k_2)$的子群体上的分布。${\mu }_{k_1,i}$和${\mu }_{k_2,i}$分别是这两个基因分布的平均值。${\sigma }_{k_1,i}$和${\sigma }_{k_2,i}$分别表示两个基因分布的标准差。KLD值越小，说明这两个基因的分布越相似。

​

3）选择性交叉：

​ 首先，生成$x_1$的副本$x_3$。然后，基于KLD，寻找$x_2$中与$x_1$的每个基因$i$相似的基因$\theta$。接着，根据$\theta$对$x_2$进行基因重组保存到$x_3$。最后，对$x_1,x_3$进行交叉产生后代。与$x_2$相比，生成的$x_3$更类似于$x_1$。因此，通过$x_1$和$x_3$的交叉进行的知识转移往往比$x_1$和$x_2$的交叉更积极。

​

4）基于自适应镜像转换的子代生成：

​ 所提出的镜像转换被设计为搜索由对立点$\bar{x}$、中心点$c$和搜索空间的边界定义的更大的区域。如下图所示，所提出的镜像变换自适应地搜索两个候选区域A和B，以改进探索。区域A由对立点$\bar{x}$和中心点$c$所限制,区域B由对立点$\bar{x}$和搜索空间的边界所包围。

​ 首先，选择区域A和区域B的概率分别初始化为$P_A=50\%$和$P_B=50\%$。然后，这两个概率是由如下公式计算:
$$\begin{array}{rl}{P}_A& =\frac{P_A\ast P_A^e}{P_A\ast P_A^e+P_B\ast P_B^e}\\ P_B& =1-P_A\end{array}\text{\hspace{1em}(6)}$$
其中，$P_A^e$和$P_B^e$分别为A区和B区精英后代个体被选择进入下一代的比例。$P_A$和$P_B$的定义有助于根据算法的性能搜索更有前途的领域。

​ 接着，基于自适应镜像转换的子代生成可以计算如下。给定一个解$\mathbf{x}=({\mathbf{x}}_1,\dots x_n)$，$\mathbf{l}=(l_1,\dots l_n)$和$\mathbf{u}=(u_1,\dots u_n)$分别为搜索空间的下界和上界。则搜索空间的中心和x的相反点分别为$\mathbf{c}=(c_1,\dots c_n)=((l_1+u_1)/2,\dots ,(l_n+u_n)/2)$和$\bar{\mathbf{x}}=2\ast \mathbf{c}-\mathbf{x}$。生成子代$\mathbf{o}=(o_1,\dots o_n)$通过下式：
$$o_i=l_i^{\text{Area}}+rand\ast (u_i^{\text{Area}}-l_i^{\text{Area}}),i=1,\dots n$$
其中rand是一个在[0,1]中的随机实数。$l_i^{\text{Area}}$和$u_i^{\text{Area}}$分别表示搜索区域的下界和上界。其设置如下：
$$\begin{array}{rl}{l}_i^{\text{Area}}& =c_i,u_i^{\text{Area}}={\bar{x}}_i\text{ if }A\text{ is selected and }{x}_i<c_i\\ l_i^{\text{Area}}& ={\bar{x}}_i,u_i^{\text{Area}}=c_i\text{ if }A\text{ is selected and }{x}_i\ge c_i\\ l_i^{\text{Area}}& ={\bar{x}}_i,u_i^{\text{Area}}=u_i\text{ if }B\text{ is selected and }{x}_i<c_i\\ l_i^{\text{Area}}& =l_i,u_i^{\text{Area}}={\bar{x}}_i\text{ if }B\text{ is selected and }{x}_i\ge c_i\end{array}$$
这四条规则分别对应于下图中所示的四种情况。

4.思考

1）MFEA-GSMT也可以解决在多任务优化中的异构问题，并且在低相关的MTO任务中也可以得到更好的效果，但是由于基因相似性的计算会带来额外的计算复杂度。并且现有的MTO算法大都考虑的是如何迁移有效的知识，还未曾考虑提高计算效率的问题。因此，提高计算效率也会是一个有前途的研究方向。

2）迁移频率：本文的迁移概率是固定的。MFEA-II–自适应迁移概率的MFEA-CSDN博客，SREMTO–自调节进化多任务优化-CSDN博客

3）MFEA-GSMT还被应用到神经网络的参数优化上，并且随着深度学习以及chat-GPT等大模型的发展，神经网络的参数会急剧增加，如何利用多任务优化来解决这种大规模优化问题也会是一个研究的热点。

4）迁移学习已经证明可以促进神经网络模型的优化，但当前的优化工具大多还是使用传统的确定性优化，如梯度下降法，Adam等，因为它们相对于不确定性优化来说更快。但是，基于种群的进化算法可以利用其并行性的优点以及多任务优化的技术来提高优化速率，希望未来可以设计出更多新的加速进化算法优化速率的方式，并使用其来解决现实问题。