SaEF-AKT--自适应知识迁移的代理辅助多任务进化框架

SaEF-AKT–自适应知识迁移的代理辅助多任务进化框架

title：Surrogate-Assisted Evolutionary Framework with Adaptive Knowledge Transfer for Multi-task Optimization

author：Shijia Huang, Jinghui Zhong,and Wei-jie Yu

journal： IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTING(TETC)

DOI：10.1109/TETC.2019.2945775

code:

1.主要贡献：

1）提出了一种代理辅助的多任务进化框架，可以用于解决昂贵优化问题。

2）设计了一种相似性度量方式

3）提出了一种自适应知识迁移策略来迁移有效的知识。

4）提出了一种基于信息素的方式来选择相似任务。

2.问题提出：

​ 在解决相似性事先未知的MaTO问题时，如何选择相似任务，如何进行知识迁移。

3.SaEF-AKT：

3.1 算法框架

​ 首先，为每个任务构建高斯过程经验模型（GPOP）。然后，使用KLD来计算任务间相似度。接着，根据信息素浓度和相似度来选择相似任务。最后，从相似任务中迁移有效的知识，并更新信息素。

3.2 构建经验模型

​ 高斯过程经验模型的预测精度取决于协方差矩阵及其相关参数。

​ 首先，GP是通过随机抽样一组初始点来构建的。然后，在接下来的每一代，都会在给定数据集上构建GP，并优化参数。接着，使用进化算法来搜索由GP构建的“近似问题”的最小值。最后，在EA结束后，使用真实的适应度函数来评估找到的最小值，并将其添加至数据集中。

​ 为了提高GP的预测质量，促进全局搜索，merit函数定义如下：
$$f_M(x)=\hat{t}(x)-\gamma {\sigma }_t(x)$$
其中，$\hat{t}(x)$表示通过GP经验模型得到的预测函数值，$\gamma$是一个平衡探索和开发的因子，${\sigma }_t(x)$是GP预测的标准差。随着γ的增加，优化求解器将更有可能向未探索的区域移动。

​ 为了减少计算复杂度，提高精确度，本文所使用的GPOP的训练数据是由最近评估的$N_R$个点和最接近$x_{best}$的$N_C$个点组成。

​ 为了提高搜索效率，所搜区域被限制在$x_{best}$周围：
$$x_{best}-d/2\le x\le x_{best}+d/2$$
其中$d$超立方体的对角线集，用以反映$N_C$个最近点的分布：
$$d_i=ma{x}_c(x_{c,i})-mi{n}_c(x_{c,i})$$
其中，$i$是维度，$c$是$N_C$个最近点的点集。

3.3 相似度度量

1）使用多元正态分布来描述训练数据的分布：
$$\begin{gathered} N(\mu ,{\sigma }^{2}C) \\ \mu =\sum _{i=1}^{\lambda }{\omega }_i{x}_i \\ \sum _{i=1}^{\lambda }{\omega }_i=1 \\ C=\frac{1}{\lambda -1}\sum _{i=1}^{\lambda }(x_i-\frac{1}{\lambda }\sum _{j=1}^{\lambda }{x}_j)(x_i-\frac{1}{\lambda }\sum _{j=1}^{\lambda }{x}_j{)}^T \end{gathered}$$
其中，$x_i$是训练数据，${\omega }_i$是每个数据的权重，$\lambda$是数据的数目。

2）使用KLD来计算任务相似度：
$$KLD(N_0||N_1)=\frac{1}{2}tr((C_1^{-1}{C}_0)+({\mu }_1-{\mu }_0{)}^T{C}_1^{-1}({\mu }_1-{\mu }_0)-k+ln(/fracdet{C}_{1}det{C}_0))$$
其中，$N_0,N_1$是两个分布，${\mu }_0,{\mu }_1$是两个分布的均值，$C_0,C_1$是两个分布的协方差矩阵，$k$是协方差矩阵的维度。注意，KLD是不对称的。

3.4 自适应知识迁移策略

1）通过相似度和信息素计算任务选择概率：
$$P_{kt}(r,s)=\frac{\tau (r,s)\eta (r,s)}{{\sum }_{u\in U}\tau (r,u)\eta (r,u)}$$
其中，$U$是任务集，$\tau (r,s)$是任务$s$辅助任务$r$的信息素浓度，范围为0至1，$\eta (r,s)$是任务$s$与任务$r$的相似度，
$$\eta (r,s)=\frac{1}{KLD(r||s)}$$
归一化相似度：
$$\eta (r,s)=\frac{exp(\eta (r,s))}{{\sum }_{u\in U}exp(\eta (r,u))}$$
2)通过任务选择概率选择辅助任务：
$$AT(r)=\{\begin{array}{l}taskwithmaximun{P}_{kl}(r,\cdot ),ifRand(0,1)<P_{max},\\ Roulettebasedon{P}_{kl}(r,\cdot ),otherwise.\end{array}$$
其中$P_{max}$是预先设定的概率，用来选择具有最大$P_{kl}$的任务作为辅助任务。

3）将辅助任务$AT(r)$的最优解传递给任务$r$，并通过传递的解的质量来更新信息素。
$$\tau (r,s)=(1-Ph{e}_{\alpha })\ast \tau (r,s)$$
当迁移解由于目标任务的最优解，则任务辅助任务对目标任务有帮助，信息素浓度更新如下：
$$\tau (r,s)=Ph{e}_{max}$$
在算法初始化阶段，信息素的值都设定为：
$$\tau (x,y)=\frac{Ph{e}_{max}+Ph{e}_{max}}{2}$$
其中，$Ph{e}_{max},Ph{e}_{max}$是信息素的上下界。

4.思考

1）与大部分算法不同的是，SaEF-AKT在选择相似任务时，采用了任务分布相似度和基于反馈的信息素两种策略。使用GPOP代理辅助模型来得到更好的解。所以SaEF-AKT适用于解决昂贵优化问题。

2）虽然SaEF-AKT提出了一种有效的源任务选择策略，但对源任务中的知识选择却没有进行研究。MTEA-AD–通过异常检测模型来解决Many多任务优化问题-CSDN博客

3）如何设计合理有效的知识迁移策略也是MTO的研究热点，例如混合迁移策略EMTO-HKT–带有混合知识迁移策略的多任务优化算法-CSDN博客，基于映射的知识迁移策略EMEA–多任务优化的另一种范式：显式多任务优化-CSDN博客，基于基因相似度的知识迁移策略MFEA-GSMT–通过基因相似性和镜像转换来解决多任务优化问题-CSDN博客。