EMTO-HKT--带有混合知识迁移策略的多任务优化算法

EMTO-HKT–混合知识迁移策略

title：Evolutionary multi-task optimization with hybrid knowledge transfer strategy

author：Yiqiao Cai, Deming Peng, Peizhong Liu, Jing-Ming Guo

journal：Information Sciences(INS)

DOI：10.1016/j.ins.2021.09.021

code:

1.主要贡献：

1）设计了一种基于种群分布的度量（PDM）技术来评估任务之间的相似性。

2）引入了一种多知识迁移（MKT）机制来实现跨任务知识迁移。

3）结合PDM和MKT，提出了混合知识迁移策略（HKT）。

与MFEA相比，EMTO-HKT的特点是使用HKT策略，基于任务间的相关性，自适应地控制任务间的知识转移强度。

2.问题提出：

1）具有不同程度相似性的任务的迁移强度的控制。

2）任务相似性的度量应该动态地考虑分布相似性和最优解的交集。

3）不同的知识转移策略在共享和利用有用知识方面表现出不同的能力。

3.EMTO-HKT：

1）算法框架：

​ EMTO-HKT是一个多种群的MTO算法框架。

​ 首先，为每个任务初始化一个具有N个个体的种群并进行评估。其次，并为每个任务构建PDM技术所使用的精英集（第4行）。初始化过程结束后，将具有两级学习算子的MKT机制迭代地应用于每个任务，直到满足终端条件。

​ PDM包括相似性度量和交集度量。

​ 两级学习算子包括个体水平的迁移学习（9-25行）和种群水平的迁移学习（26-30行）。

2）PDM:

​ 首先，选择每个任务$T_k$的m个最优解，根据它们的适应度值构建一个精英集，表示为$E_k$。其次，对于每个任务构建的精英集，PDM技术的两个度量定义如下：

​ **相似度度量：**具体来说，对于每个目标任务$T_k$，计算从$E_k$中所有解到$T_k$的最优解（即${\overrightarrow{x}}_{k,b}^g$）的欧氏距离，并按升序排序，并将${\overrightarrow{x}}_i^g\in E_k$到${\overrightarrow{x}}_{l,b}^g$的距离排序表示为$R{d}_{k,i}^{(l)}$。然后，通过下面的公式评估辅助任务（$T_l$）与$T_k$的相似性（记为$S{M}_k^{(l)}$）
$$S{M}_k^{(l)}=\frac{{\sum }_{i=1}^m|R{f}_{k,i}-R{d}_{k,i}^{(k)}|}{{\sum }_{i=1}^m|R{f}_{k,i}-R{d}_{k,i}^{(l)}|}$$
其中$R{f}_{k,i}$是${\overrightarrow{x}}_i^g\in E_k,i=1,2,...,m$的适应度值的排名。此外，如下公式所示，相似度度量是不对称的，$S{M}_k^{(l)}\ne S{M}_l^{(k)}$。

对于相似度度量的说明：假设目标任务的指标$F{T}_k={\sum }_{i=1}^m|R{f}_{k,i}-R{d}_{k,i}^{(k)}|$，辅助任务指标$F{A}_k^{(l)}={\sum }_{i=1}^m|R{f}_{k,i}-R{d}_{k,i}^{(l)}|$。

当$F{T}_k\approx F{A}_k^{(l)}$时，说明两个任务最优解距离很近，如下图(a)和(b)。

当$F{T}_k<F{A}_k^{(l)}$时，说明目标任务中的个体都距离目标任务的最优解较近，距离辅助任务的最优解较远,如下图©。

当$F{T}_k>F{A}_k^{(l)}$时，说明目标任务中的个体都距离目标任务的最优解较远，距离辅助任务的最优解较近,如下图(d)。

​ **交集度量:**对于每个目标任务（$T_k$），辅助任务（$T_l$）与$T_k$的交集度量（记为$I{M}_k^{(l)}$）如下公式所示
$$I{M}_k^{(l)}=\frac{{\sum }_{{\overrightarrow{x}}_i^g\in E_k}dist({\overrightarrow{x}}_i^g,E_k/{\overrightarrow{x}}_i^g)}{{\sum }_{{\overrightarrow{x}}_i^g\in E_k}dist({\overrightarrow{x}}_i^g,E_l)}$$
其中$dist({\overrightarrow{x}}_i^g,E_k/{\overrightarrow{x}}_i^g)$表示从${\overrightarrow{x}}_i^g\in E_k$到$E_k$中其他解的最小欧氏距离，而$dist({\overrightarrow{x}}_i^g,E_l)$表示从${\overrightarrow{x}}_i^g\in E_k$到$T_l$（即$E_l$）中精英解集的最小欧氏距离。与相似性度度量相似，交点度量也是不对称的。

对于交集度量的说明：假设目标任务的指标$D{T}_k={\sum }_{{\overrightarrow{x}}_i^g\in E_k}dist({\overrightarrow{x}}_i^g,E_k/{\overrightarrow{x}}_i^g)$，辅助任务的指标$D{A}_k^{(l)}={\sum }_{{\overrightarrow{x}}_i^g\in E_k}dist({\overrightarrow{x}}_i^g,E_l)$.

当$D{T}_k\approx D{A}_k^{(l)}$时，说明辅助任务的精英解在目标任务的精英解附近，两个任务交集程度很高，如下图(a)。

当$D{T}_k<D{A}_k^{(l)}$时，说明两个任务交集程度很低，如下图(b)。

当$D{T}_k>D{A}_k^{(l)}$时，说明目标任务的每个解都来自辅助任务的最近邻，两个任务交集程度很高，分布相似,如下图©。

3）MKT：设计了一个两级学习算子：个体级学习算子和群体级学习算子。前者根据相似度度量在具有不同技能因子的个体间共享知识，后者根据交集度量从辅助任务转移个体至目标任务。

个体级学习算子：

​ 知识存储：存储下一代存活下来的子代个体的进化信息，包括搜索轨迹，当前位置，扰动方向等。当存档满时，使用随机替换策略来更新存档。

​ 知识利用：对于目标任务中的某个个体，如果rand<$S{M}_k^{(l)}$，就分别从目标任务和辅助任务中随机选择父代个体，产生三个子代个体，其中两个子代个体是从被选择的父代个体中产生的，其余的子代个体是单任务环境的父代生成的。

​ 知识选择：根据$S{I}_i(q)$来从三个子代个体中选择最终子代，$r_k^i$是目标任务中个体${\overrightarrow{x}}_i^g$的索引值。
u → i g = u → i ( l ) , w h e r e    l = { a r g m a x q ∈ { 1 , 2 , 3 } S I i ( q ) ,    i f   r a n d ( 0 , 1 ) < ( 1 − r k i / N ) a r g m i n q ∈ { 1 , 2 , 3 } S I i ( q ) ,    O t h e r w i s e . \overrightarrow u^g_i=\overrightarrow u_i(l),where \ \ l=\begin{cases} arg max_{q\in\{1,2,3\}} {SI_i(q)},\ \ if \ rand(0,1)<(1-r^i_k/N)\\ arg min_{q\in\{1,2,3\}} {SI_i(q)},\ \ Otherwise. \end{cases} u ig​=u i​(l),where  l={argmaxq∈{1,2,3}​SIi​(q),  if rand(0,1)<(1−rki​/N)argminq∈{1,2,3}​SIi​(q),  Otherwise.​

$$S{I}_i(q)=\frac{({\overrightarrow{x}}_{best,k}^g-{\overrightarrow{x}}_i^g)\cdot ({\overrightarrow{c}}_i(q)-{\overrightarrow{x}}_i^g)}{{||{\overrightarrow{x}}_{best,k}^g-{\overrightarrow{x}}_i^g||}_2\times {||{\overrightarrow{c}}_i(q)-{\overrightarrow{x}}_i^g||}_2}$$

群体级学习算子：

​ 计算迁移个体数目：交集度越高，迁移数量越多。
T N k ( l ) = m i n { s , [ I M k ( l ) × N ] } TN^{(l)}_k=min\{s,[IM^{(l)}_k\times N]\} TNk(l)​=min{s,[IMk(l)​×N]}
​ 迁移所选择的个体：使用辅助任务中表现好的个体直接替换目标任务中表现差的个体。

4.思考

1）EMTO-HKT中包含了两种知识迁移策略：直接迁移个体的显式知识迁移和使用交叉算子的隐式知识迁移。且通过相似度度量和交集度量来控制两类知识迁移策略，从而促进了正向的知识迁移。

2）本文所使用的两类知识迁移策略均未曾考虑两个任务的最优解距离较远的问题。

3）通过种群的分布和交集来计算任务相似度，是一个计算任务相似性的新方式，并且BoKT中提出了使用种群分布和任务最优解来计算任务相似性的双目标度量方式。更有效的任务相似性度量方式也将会是MTO的一个研究热点。