EMEA--多任务优化的另一种范式:显式多任务优化

EMEA–多任务优化的另一种范式:显式多任务优化

title:Evolutionary Multitasking via Explicit Autoencoding

author:Liang Feng , Lei Zhou, Jinghui Zhong, Abhishek Gupta , Yew-Soon Ong , Kay-Chen Tan , and A. K. Qin.

journal:IEEE TRANSACTIONS ON CYBERNETICS(TCYB)

DOI: https://doi.org/10.1109/TCYB.2018.2845361.

code:https://github.com/intLyc/MTO-Platform/tree/master/MTO/Algorithms/Multi-task/Multi-population/EMEA

1.主要贡献:

1)提出了一种显式自编码器的方式来实现跨任务的知识迁移(EMEA)

2.问题提出:

不同的优化问题具有不同的特性,使用不同的进化机制才能有效解决这些问题。而传统的MFEA及其变体采用一种通用的进化机制(即交叉和突变)来解决多个任务。为了提高MTO的性能,本文提出了将多种搜索机制结合的EMEA。

3.EMEA:

1)对每个任务都使用独立的解表示方案,而不是使用统一搜索空间。

2)对于不同的任务使用不同的进化求解器。

3)引入自编码器显式地进行跨任务间知识迁移。且因为去噪自编码器由闭式解,所以不会造成太多额外的计算负担。

​ 假设 P = { p 1 . . . , p N } P=\{p_1...,p_N\} P={p1...pN} Q = { q 1 . . . , q N } Q=\{q_1...,q_N\} Q={q1...qN}分别表示从两个不同的优化问题 O P 1 OP_1 OP1 O P 2 OP_2 OP2的搜索空间中均匀独立采样的解集,其中 N N N表示每个解集的个体数。将 P P P作为输入, Q Q Q作为输出来构建自编码器,则从问题 O P 1 OP_1 OP1 O P 2 OP_2 OP2的映射 M M M可以表示如下:
M = ( Q P T ) ( P P T ) − 1 . M = (QP^T) (PP^T)^{−1}. M=(QPT)(PPT)1.
因此,跨任务知识迁移可以简单的通过与 M M M的乘法运算来实现。

​ 任务映射的学习过程如算法1所示。首先,对两个问题采样;其次,按照目标值排序;然后,将两个任务排序后的解集分别作为自编码器的输入和输出;最后,通过上述公式得到映射 M M M.

image-20240303101102322

注意:单目标优化问题可以直接使用目标值进行排序并执行算法1,而多目标优化问题需要先对每个目标函数进行排序,然后将排序后的P和Q分别作为自编码器的输入和输出,得到如下图所示的 M 12 11 , M 12 12 , M 12 21 M^{11}_{12},M^{12}_{12},M^{21}_{12} M1211,M1212,M1221 M 12 22 M^{22}_{12} M1222

image-20240303103936744

4)显式知识迁移:

​ 跨任务知识迁移是通过固定间隔(每隔10代)实现的

​ 对于单目标多任务问题,当知识迁移发生时,先根据目标值选择 S S S个个体,然后通过学习映射 M M M来实现知识迁移。

​ 对于多目标多任务问题,由于存在多组映射关系( M 12 11 , M 12 12 , M 12 21 , M 12 22 M^{11}_{12},M^{12}_{12},M^{21}_{12},M^{22}_{12} M1211,M1212,M1221,M1222),所以多目标多任务问题的知识迁移如算法2所示。首先,分别从两个问题 O P 1 , O P 2 OP_1,OP_2 OP1,OP2随机选择一个目标函数 a , b a,b a,b。然后,分别根据目标函数 a , b a,b a,b选择最合适的 S S S个个体。最后,通过映射 M 12 a b M^{ab}_{12} M12ab将从问题 O P 1 OP_1 OP1中选择的个体迁移至问题 O P 2 OP_2 OP2,通过映射 M 21 b a M^{ba}_{21} M21ba将从问题 O P 2 OP_2 OP2中选择的个体迁移至问题 O P 1 OP_1 OP1.

image-20240303103859935

5)EMEA的算法框架:

首先,对于不同的问题,都构建了一个独立的种群和求解器。其次,根据算法1使用自编码器离线地学习不同的任务间映射关系 M M M。然后,显式知识迁移是通过将从任务 O P 1 OP_1 OP1中选择的S个个体与映射 M M M进行乘法运算后得到的新个体注入到任务 O P 2 OP_2 OP2中来实现的。

image-20240303100456565

4.显式迁移与隐式迁移的区别:

1)显式迁移:对每个任务都构建了一个种群和进化求解器,隐式迁移:统一搜索空间和统一进化求解器。

2)显式迁移:知识迁移是通过注入解或者转换后的解实现的,隐式迁移:知识迁移是通过知识交叉算子实现的。

5.思考

1)两个任务维度不一致问题。

2)EMEA使用离线训练好的自编码器来实现知识迁移的,不能动态的捕获种群迭代过程的动态变化。

3)EMEA在处理多目标多任务优化问题时的迁移策略,采用随机选择目标函数的方式存在随机性,可以探讨新的针对多目标多任务优化问题的知识迁移策略。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tiger-woods

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值