EMT-DAVT--基于子空间分布对齐和决策变量转移的多目标多任务优化

EMT-DAVT–基于子空间分布对齐和决策变量转移的多目标多任务优化

title： Multiobjective Multitasking Optimization With Subspace Distribution Alignment and Decision Variable Transfer

author： Weifeng Gao, Jiangli Cheng, Maoguo Gong, Hong Li, and Jin Xie.

journal： IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE (TETCI)

DOI：10.1109/TETCI.2021.3115518

code:

1.主要贡献：

​ EMT-DAVT包含子空间分布对齐（DA）策略和决策变量转移（VT）机制。在DA策略中，利用学习映射矩阵对齐子空间中的分布，减少属于不同任务的子种群之间的差异。然后，使用VT机制进一步促进正向信息传递。最后，设计了一种搜索策略来平衡探索和开发。

2.问题提出：

​ 许多迁移学习方法被应用到多任务优化中，如EMEA、MO-MFEA-II、MOMFEA-SADE等，但是这些算法还是会带来负迁移，主要原因如下：

​ 1）迁移个体的质量依赖于任务的相似度，而任务相似度是不确定的；并且当任务间相似度较低时，映射矩阵也可能是不准确的。

​ 2）由于每个个体都有相同的概率被选中，所以一些低质量的个体也可能会被选择去交换信息；

​ 3）常用的子空间对齐方法忽略了种群的平稳分布，使得目标空间中的预测个体缺乏多样性。

​ 如图所示，假设红色方块表示从源任务迁移的个体，蓝色圆圈表示目标任务的种群。对于最小化问题来说，直接迁移个体不会帮助目标任务的搜索。

# 3.EMT-DAVT：

3.1 子空间分布对齐策略（DA）

​ 领域自适应可以通过建立一种映射矩阵来对齐子空间的偏差，但是这些方法没有考虑到子空间分布信息的散度，导致在自适应之后还是未对齐。为此，文章中提出了一种DA策略，它将源域和目标域投影到相应的低维子空间中，然后在两个子空间之间建立两个映射矩阵$M_{st}$和$M_{ts}$。与直接建立映射相比，该方法可以最小化两个域之间的差异。DA策略的细节介绍如下:

​ 1)PCA降维得到分别属于种群$P_s\in R^{N\times D_{max}},P_t\in R^{N\times D_{max}\times }$的子空间$S_s\in R^{D_{max}\times h},S_t\in R^{D_{max}\times h}$

​ 2)构建两个子空间的映射矩阵如下：
$$M_{st}=Q_{st}{A}_{st}$$
其中，$A_{st}$是用来对齐子空间分布的矩阵，$Q_{st}$是用来对齐偏差的矩阵，且是通过最小化Bregman矩阵散度损失构建：
$$F(Q_{st})={||S_s{Q}_{st}-S_t||}_F^2$$

$$Q_{st}^{\ast }=\arg \underset{Q_{st\in R^{h\times h}}}{\min }F(Q_{st})=S_s^T{S}_t$$

​ 3)构建矩阵$A_{st}$:首先通过归一化使得均值不会影响子空间的映射，则$A_{st}$就可以直接在子空间中通过$P_s$和$P_t$的协方差矩阵构建。
$$A_{st}=W_s^{-1}{W}_t=E_s^{-\frac{1}{2}}{E}_t^{\frac{1}{2}}$$
其中，$W_s,W_t$表示两个协方差矩阵的平方根，$E_s,E_t$是两个子空间对应的特征值（通过PCA得到的）。因此最终的映射矩阵表示如下：
$$M_{st}=Q_{st}^{\ast }{A}_{st}=(S_s^T{S}_t)(E_s^{-\frac{1}{2}}{E}_t^{\frac{1}{2}})$$

$$M_{ts}=Q_{ts}^{\ast }{A}_{ts}=(S_t^T{S}_s)(E_t^{-\frac{1}{2}}{E}_s^{\frac{1}{2}})$$

​ 4)一个个体$x\in P_s$可以转换如下：
$$\bar{x}=x\cdot S_s\cdot M_{st}\cdot S_t^T$$

3.2 决策变量迁移机制（VT）

​ 采用无监督聚类的方式将$P_t$分成n类，聚类中心点表示为$C_1^t,C_2^t,...,C_n^t$，每一个聚类的点集表示为$B_1^t,B_2^t,...,B_n^t$。同理，${\bar{P}}_s$也被分为n类，聚类中心点表示为$C_1^s,C_2^s,...,C_n^s$，每一个聚类的点集表示为$B_1^s,B_2^s,...,B_n^s$。因为聚类中心更靠近于同一类的其他点，所以将聚类中心看作该聚类的代表点。

​ 首先，点集$B_1^s$中的所有点被迁移到点集$B_{j_0}^t$通过如下计算：
$${\overline{\stackrel{ˉ}{p}}}_{1,s}^i={\bar{p}}_{1,s}^i+(C_{j_0}^t-C_1^s)$$
其中，${\bar{p}}_{1,s}^i$表示聚类$B_1^s$中第i个点，${\overline{\stackrel{ˉ}{p}}}_{1,s}^i$表示与${\bar{p}}_{1,s}^i$对应的迁移点，$C_{j_0}^t-C_1^s$代表两个聚类间的偏差。

3.3 搜索策略

1）任务内搜索策略：

​ “DE/rand/1”：
$$v_i=x_{r_1}+\beta \cdot (x_{r_2}-x_{r_3})$$
​ “DE/best/1”：
$$v_i=x_{best}+\beta \cdot (x_{r_1}-x_{r_2})$$
​ “DE/current-to-pbest/1”：
$$v_i=x_i+\beta \cdot (x_{pbest}-x_i)+\beta \cdot (x_{r_1}-x_{r_2})$$
2）任务间搜索策略：

​ “DE/rand/1”变体：
$$v_i=x_{r_1}+\beta \cdot ({\tilde{x}}_{r_2}-{\tilde{x}}_{r_3})$$
​ “DE/best/1”：
$$v_i=x_{best}+\beta \cdot ({\tilde{x}}_{r_1}-{\tilde{x}}_{r_2})$$
​ “DE/current-to-pbest/1”：
$$v_i=x_i+\beta \cdot ({\tilde{x}}_{pbest}-x_i)+\beta \cdot ({\tilde{x}}_{r_1}-{\tilde{x}}_{r_2})$$
其中，索引$r_1,r_2,r_3$是从$[1,2N]$中选择的三个不同的随机数，${\tilde{x}}_{r_1},{\tilde{x}}_{r_2},{\tilde{x}}_{r_3}$是从$P_s$和${\overline{\stackrel{ˉ}{P}}}_t$的集合中随机采样的。

3.4 算法框架

​ 1）初始化一个包含$K\cdot N$个个体的种群并分配技能因子；

​ 2）为每个任务$T_k$随机选择一个源任务$T_s$;

​ 3）对$P_s$应用DA策略（算法2）获得${\bar{P}}_s$;

​ 4）对${\bar{P}}_s$应用VT策略（算法3）获得${\overline{\stackrel{ˉ}{P}}}_s$;

​ 5）应用算法4来产生子代$C_k$

​ 6）环境选择

# 4.思考

1）EMT-DAVT中提出来两种策略：DA策略通过构建映射矩阵来对齐子空间分布，VT策略通过考虑源域与目标域中聚类中心间的距离来减少偏差。

2）领域自适应在MTO中的发展历程：整个高维矩阵的映射：EMEA是源域与目标域之间的直接映射，降维子空间的映射：MO-MFEA-SADE是源域与目标域的子空间之间的映射，EMT-DAVT是源域与目标域的子空间的聚类中心之间的映射，一维向量之间的映射：MFEA-GSMT、KR-MTEA是源域与目标域的维度之间的映射。