论文学习-基于聚类减少负迁移学习的动态多目标优化

论文题目：Reducing Negative Transfer Learning via Clustering for Dynamic Multiobjective Optimization

基于决策变量分类的动态多目标优化算法（Jianqiang Li , Member, IEEE, Tao Sun, Qiuzhen Lin , Member, IEEE, Min Jiang , Senior Member, IEEE, and Kay Chen Tan）EEE TRANSACTIONS ON EVOLUTIONARY COMPUTATION, VOL. 26, NO. 5, OCTOBER 2022

刚开始学习多目标优化算法，不作商业用途，如果有不正确的地方请指正！

个人总结：

基于迁移学习方法的动态多目标算法是从预测的角度来对应动态环境的改变，但是在迁移学习的过程中，如果训练样本和测试样本极度不同时，知识的迁移会向错误的方向探索。

为了求解DMOP时减少负转移，本文提出了一种基于聚类的DMOEAs转移（CBT）学习方法（称为CT-DMOEA）其中包括两种用于知识转移的新操作CBS和CBT。

当环境发生变化时CBS的目标是找到一个具有非支配解和支配解的种群作为新环境的训练数据，CBT进一步收集先前环境的POS，并附上一些噪声解作为先前环境的训练数据，将不同环境中的两个训练数据集分别分类为多个聚类，并对来自不同环境的两个相似聚类使用迁移学习方法TrAdaboost训练预测模型，生成具有接近新环境POS的高质量解决方案的初始种群。

感觉学的有点浅，等我学多了再来补充

摘要

• 动态多目标优化问题( DMOPs )旨在优化随时间变化的多个(往往是相互冲突的)目标。最近，有许多基于迁移学习方法的算法被提出来解决DMOPs。
• 为了减少基于迁移学习中的负面影响并找到有效的迁移解决方案，本文提出了一种聚类迁移 CBT（clustering-based transfer）学习方法来解决DMOPs。
• 当环境发生变化时，使用两种新颖的操作(基于聚类的选择( CBS )clustering-based selection)和CBT )来指导知识转移。具体来说，CBS旨在寻找一个具有非支配解和支配解的种群作为新环境的训练数据。然后，CBT进一步收集之前的Pareto最优解和一些噪声解作为之前环境的训练数据。将来自不同环境的两个训练数据集分别划分为多个簇，并以高概率在两个相似的簇上进行迁移学习，以减少负面影响，从而训练出准确的预测模型。
• 在14个基准DMOPs和1个无人空中/地面车辆的实际路径规划问题上进行了实证研究，与直接迁移学习相比，我们的方法可以在14个案例中的12个案例上显著减少负迁移。

引言

近年来提出了许多动态MOEAs ( DMOEAs )可以分为以下几类：1 )基于多样性的方法；2 )基于多种群的方法；3 )基于内存的方法；4 )基于预测的方法。其中基于预测的方法可以通过从历史POS中挖掘有效信息，在新环境开始时找到具有高质量解决方案的初始种群，这可以帮助静态MOEA在环境变化时有效地搜索新的POS。

然而，大多数基于预测的方法假设“过去”和“未来”POS在不同的环境中是相关的，当只有缓慢或变化很小的动态时，可以很容易地跟踪。当发生更剧烈的变化时，预测模型通常表现不佳，因为很难找到准确的预测模型，并且用于训练预测模型的解和预测模型预测的解必须在一定程度上满足独立相同分布（IID）的假设。

迁移学习与目前存在的问题

迁移学习的新概念及其正式蓝图，其动机是人类通过识别和应用以前解决问题经验的相关知识，自然地在任务之间转移知识以解决新任务。积极的知识迁移可以促进问题的解决，但是减少负转移并找到更有效的转移是非常具有挑战性的。

首先，当训练样本和测试样本极度不同时，知识迁移可能会诱发错误的搜索方向，这将导致负迁移并导致性能不佳。其次，在训练过程中，样本之间的相似性往往被忽略，这实际上对知识转移非常有效，因为相似的样本往往有更高的概率分享有效知识。

本文提出的想法

为了在求解DMOP时减少负转移，本文提出了一种基于聚类的DMOEAs转移（CBT）学习方法（称为CT-DMOEA），其中包括两种用于知识转移的新操作（基于聚类的选择（CBS）和CBT）

具体来说，当环境发生变化时，CBS的目标是找到一个具有非支配解和支配解的种群作为新环境的训练数据，然后，CBT进一步收集先前环境的POS，并附上一些噪声解作为先前环境的训练数据。将不同环境中的两个训练数据集分别分类为多个聚类，并对来自不同环境的两个相似聚类使用迁移学习方法TrAdaboost训练预测模型，生成具有接近新环境POS的高质量解决方案的初始种群，并在该新环境中通过静态MOEA进一步优化。

通过这种方式，当环境发生变化时，CT-DMOEA能够为新环境找到高质量的初始种群

背景及相关工作

A.DMOP基础

动态多目标DPOS和DPOF的相关介绍略过

B.有关算法

这里作者提到了近年来的多目标优化算法的四大分类和他们各自的具体算法，有兴趣的伙伴可以看文章了解。

基于迁移学习的方法可以被认为是基于预测的方法的一个分支。

C.动机

基于迁移学习的方法明显提高了新环境下初始解决方案的质量，但迁移学习可能存在负面影响，可能导致POS搜索走向错误的方向。

提出方法

CT-DMOEA算法概述

A.CT-DMOEA整体算法

下图为CT—DMOEA算法伪代码

B.CBS算子

Clustering-Based Selection

CBS的目的是选择同时具有良好收敛性和多样性的解作为训练数据，伪代码如下

其中HCM旨在将S中的解分为N个簇，首先将S中的每个解作为一个簇，然后将相似的簇合并为一个簇，直到剩余簇的数目达到N。 具体伪代码如下：

C.CBT算子

CBT进一步收集先前环境的POS，并附上一些噪声解作为先前环境的训练数据。将不同环境中的两个训练数据集分别分类为多个聚类，并使用来自不同环境的两个相似聚类使用迁移学习方法TrAdaboost训练预测模型，生成具有接近新环境POS的高质量解决方案的初始种群。伪代码如下： 

这当中有许多的细小算法具体模块我还没有啃透，所以就暂时没有放上去，想要了解的同学可以看原文章。 

实验研究

这里是一些CT-MDOEA和其他方法的比较，感兴趣的同学可以看原文

CT-DMOEA应用

文章中应用 CT-DMOEA 解决动态环境下的无人机/地面无人机混合路径规划问题。

近年来，UAV / UGV协同系统在智慧城市应用中得到了广泛的应用，包括智能监视和侦察任务、地理信息采集和包裹投递等现有的UAV/UGV人机协同系统并未考虑其应用场景的动态变化，在实际应用中存在局限性。

上图为UAV天空无人机和UGV地面无人机混合路径系统的模型，用GA算法进行优化UAV，用CT-DMOEA算法优化UGV

A.实验设计

1.数据集：使用深圳市的441 个公园的位置和现实世界的路径来进行无人机/超高速飞行器的路径规划，其中，41 个公园用于 UGV 的路径规划，400 个公园用于 UAV 的路径规划。然而，在某些限制条件下（如无人机的电力限制），一架无人机在一次运行中只能访问 300 个公园。

2.算法设置：实验中嵌入了CT-DMOEA的迁移学习方法，群规模和叠代数分别设定为 100 和 200。CT-DMOEA 采用参数化的均匀交叉和个体重初始化的突变。

3.迁移学习设置：由于新环境下的无人机停机位Vnew是在原有停机位Vpre的基础上改变部分停机位得到的，不同环境下的停机位分布具有一定的相似性。因此，可以使用迁移学习来迁移先前的最优解，以重新初始化UGV在新环境中所要访问的路径。

B.结果分析

为了验证CT - DMOEA对UAV / UGV混合路径规划的性能，在上述公园数据集上独立运行10次，对3种算法( EEMTA 、C - MOEA / D、CT - DMOEA)进行对比

改变比率表示将以前环境中无人机的停车场数量减少一定%，然后增加一定%的新停车场进行路径规划。结果显示CT-DMOEA算法优于EEMTA和C-MOEA/D算法。

结论

近年来，迁移学习已经成为解决DMOPs的一种非常流行和有效的方法。然而，很少有研究关注降低知识转移中的负面效应。本文提出了一种基于聚类的方法，用于将两个相似的集群之间的有用知识从先前的环境转移到新的环境中。

根据前面的对比结果来看本文提出的CT-DMOEA算法对比其他算法来看能够有效的减少迁移学习在迁移当中的负面影响。

文章作者接下来继续研究所提出的算法在大规模决策变量和3个以上优化目标的更为复杂的DMOPs上的性能，感兴趣的读者可以继续跟进