论文学习-通过自动编码进化搜索解决动态多目标问题

论文题目：Solving Dynamic Multiobjective Problem via Autoencoding Evolutionary Search

通过自动编码进化搜索解决动态多目标问题（Liang Feng , Wei Zhou , Weichen Liu , Yew-Soon Ong , Fellow, IEEE, and Kay Chen Tan , Fellow, IEEE）

IEEE TRANSACTIONS ON CYBERNETICS, VOL. 52, NO. 5, MAY 2022

刚开始学习多目标优化算法，不作商业用途，如果有不正确的地方请指正！

个人总结：

自编码进化搜索可以看作是基于多样性方法和预测的相结合，

在遇到环境变化时，使用自编码器学习t-1时刻到t时刻的pos路径并对t到t+1时刻的路径做出预测。 并随机保存下t时刻的一半解来维持种群的多样性。

优势：独立于优化器，可以很容易的整合到现有的MOEAs中。

摘要

• DMOP在最近十几年引起了广泛的研究关注。在本文中，我们提出通过自编码进化搜索来解决DMOPs。
• 为了跟踪给定DMOP的动态变化，基于动态发生前获得的非支配解，推导了一个自动编码器来预测Pareto最优解的移动。该自编码器可以很容易地集成到现有的多目标进化算法中。
• 由于本文提出的预测方法具有闭式解，因此在迭代进化搜索过程中不会带来太大的计算负担，而且所提出的动态变化预测是从动态优化过程中发现的非支配解中自动学习的，这可以提供更准确的Pareto最优解预测。
• 在常用的DMOP基准测试集上获得的结果证实了所提方法的有效性。

引言

在过去的几十年中已经开发了许多多目标进化算法，在现实中，大多数多目标优化问题都是动态多目标优化问题，其中的问题性质，如目标函数、函数约束等都是随时间变化的。许多研究人员为了解决动态多目标优化问题提出了很多算法，它们大致可以分为：

1. 基于多样性的方法 要么在动态发生时引入多样性，要么在整个搜索过程中保持高多样性。
2. 基于预测的方法     提出基于从搜索经验中学习到的潜在模式来预测动态变化
3. 基于记忆的方法     主要重用先前存储的最优解，以快速响应新的环境变化
4. 多种群方法             同时维护多个子种群进行搜索​​​​​​​

现状：由于动态环境的变化可能会表现出一些可预测的模式，在现有的用于解决DMOP的DMOEAs中，基于预测的方法在搜索速度和解的质量方面显示出优于其他类别的DMOEAs的优化性能。同时作者也在这块提到了很多基于预测的算法，大家可以自己去看看。

什么是自编码进化搜索

自编码进化搜索可以看作是基于多样性方法和记忆的相结合，是最近提出的一种从过去的搜索经验中学习的搜索范式。

在‘Autoencoding evolutionary search with learning across heterogeneous problems’论文中提出了单层去噪自编码器，通过寻找从一个域到另一个域的解映射来建立跨问题域的连接。

与动态多目标优化相结合：给定的DMOP的两个连续时间实例上的问题通常具有很大的相似性，并且在一个时间实例上的DMOP的解决方案(例如, 中的中心点和中的代表点)能够帮助预测下一个时间实例的移动最优解，所以作者通过扩展自编码进化搜索提出了一种新的预测策略。

本文提出的想法

与之前的不同：所提出的方法不是使用确定性的数据点，如中心点，膝点等，而是通过学习从连续两个时间实例中发现的非支配解的映射来跟踪最优解的移动。主要的贡献有：

1. 提出了一种非常高效的自编码器，该编码器具有封闭的解。
2. 与仅使用确定性数据点的方法（如：中心点）相比，该方法可以提供更多样化、准确的POS预测
3. 所提出的方法是独立于优化器的，可以很容易地集成到现有的静态算法中来处理dops。

准备工作

A.动态多目标优化问题基础

DMOEA的目标是进化种群，并在动态发生时尽可能快地跟踪移动的DPOS或DPOF。 

定义1（DPOS）: t时刻的POS，记为DPOS ( t ) *，是所有关于决策空间的帕累托最优解的集合，使得

定义2（DPOF）：t时刻的POF，记为DPOF ( t ) *，为DPOS ( t ) *对应的目标向量，使得：

B.自动编码进化搜索

自动编码器的介绍：

• 自动编码器(autoencoder,AE)是一类在半监督学习和非监督学习中使用的人工神经网络,其功能是通过将输入信息作为学习目标，对输入信息进行表征学习（representation learning）。是机器学习和深度学习网络构建中的重要模块。近年来，自动编码器已经被派生出来用于建立两个独立优化域之间的联系。

自动编码进化搜索：

• 为了改进对未知问题的优化过程，‘Autoencoding evolutionary search with learning across heterogeneous problems’文章提出了自编码进化搜索（autoencoding evolutionary search），以从过去的搜索经验中学习。

具体实施：

• 设计一个单层去噪自编码器，并将求解的问题视为当前问题的损坏版本，可以将过去已求解问题的优化解以当前优化问题的解的形式进行迁移，从而加速相应的搜索过程。
• 例如将和分别表示两个不同的优化问题OP1和OP2的解的集合，即P = { p1，..，pN }和Q = { q1，..，qN }，其中N表示每个集合中的解的个数，d是问题的维数。
• 从OP1到OP2的连接可以通过去噪自动编码器自然地建立，使用P作为输入，相应地使用Q作为输出，如图所示：其中的M为 
• 这样问题域OP1到OP2的知识迁移就可以简单地通过M和OP1的优化解的乘法来实现。 

我们可以清楚地看到，如果我们在动态发生之前和之后处理DMOP，如OP1和OP2，学习到                的M基本上捕获了DMOP的移动方向。与现有工作确定性地利用中心点之间的差异来保持DMOP的移动方向不同，M可以从动态发生前后找到的MO解中自动学习，从而对求解DMOP的搜索方向进行更多样、更准确的预测。受此启发，本文提出在决策空间中扩展自编码的思想来构建求解DM的知识迁移映射 。

提出的方法

作者提出的自编码进化搜索整体的框架如图：

在传统的MOEA作为基本优化求解器上设计了一个额外的检测算子来触发所提出的预测策略。策略由通过去噪自编码的预测和高质量的解保存组成。

A.动态检测算子

现有两种动态检测的方法：

• 基于种群的检测        使用EA计算整个种群的适应度
• 基于传感器的检测    考虑在某些预定义点上的对适应度进行额外的监测

B.动态发生时的种群生成

当检测到环境发生动态变化时，为了快速定位新的pos，作者的方法是用去噪自动编码进行预测和高质量的解保存相结合的办法来生成新的种群：

 ​​​​​​​1.Prediction via Denoising Autoencoding（去噪自编码的预测）

难点：需要根据检测到的优化问题的变化来预测POS的移动方向。

现有方法存在的问题：只能为预测提供单一的确定性方向，如果方向错误会阻碍向POS的收敛。

作者的想法：考虑在以前的时间窗口找到的每个非主导解的移动来预测POS的多个方向。

具体内容：假设在前一时间窗口内得到的一系列非支配解记为NDS1，NDS2，..，NDSt - 1，NDSt，作者需要使用NDSt-1和NDSt中的非支配解来学习预测POS解从t到t+1的移动方向。

1. 首先按照拥挤度对NDSt-1和NDSt的解进行排序
2. 分别选出排序完后NDSt-1和NDS中最好的N个解作为编码器的输入P和输出Q
3. 利用公式对POS从时间t-1到t的移动方向建模
4. 利用学习到的M通过​​​​​​​预测t+1时POS的解​​​​​​​

伪代码如下

2.High-Quality Solution Preservation（高质量解的保存）

为了保留在搜索过程中发现的高质量解和保持种群的多样性，将从NDSt中随机选择一般的解，如果数量不够再随机生成解进行补充

经验研究

作者在这里设置了实验研究并展示了结果，我还没有仔细看感兴趣的朋友可以去原文看。

结论

为了解决DMOP问题提出了自编码进化搜索，用于在用于在进化搜索在线进行的同时跟踪POS的移动方向。所提出的预测方法可以很容易地集成到现有的静态MOEAs中。

未来将基于自编码器的预测进行更深入的分析，能够应用到空间预测中并在机器人动作优化和飞行轨迹规划中展开作用。