架构搜索文献笔记（3）：《NSGANetV2：进化的多目标替代辅助的神经体系结构搜索》-CSDN博客

本文链接：https://blog.csdn.net/Hankerchen/article/details/115444245

论文《NSGANetV2: Evolutionary Multi-Objective Surrogate-Assisted Neural Architecture Search》-2020-ECCV**
论文链接
代码链接https://github.com/mikelzc1990/nsganetv2

一、摘要及主要贡献

摘要：在本文中，提出了一种有效的NAS算法来生成在多个竞争目标下具有竞争竞争力的任务特定模型。

它由两个代理组成：
一个在架构层面，以提高采样效率，
另一个在权值层面，通过超网，以提高梯度下降训练效率。

在标准基准数据集(C10、C100、图像网络)上，相等或超过现有方法的模型，并且搜索的样本效率高几个数量级。

此外，还在六个不同的非标准数据集（STL-10,Flowers102, Oxford Pets, FGVC Aircrafts等）上证明了所提方法的有效性和通用性。
在这里插入图片描述

MSuNAS搜索卷积神经网络的四个重要维度，包括深度（层数)、宽度(通道）、卷积核大小和输入特征图尺寸。

论文将CNN架构分解为五个顺序连接的块，逐渐减小特征映射的大小，信道的数量增加。

在每个块中，论文搜索层数，其中如果特征图大小减小，只有第一层使用步幅2，并且论文允许每个块最小有两层，最多有四层。

每层采用倒瓶颈结构，搜索前1×1卷积的膨胀率和深度可分离卷积的核大小。

此外，论文允许输入图像大小从192到256。

论文使用一个整数字符串来编码这些架构选择，并将零填充到层较少的体系结构字符串，这样论文就有一个固定长度的编码。这个搜索空间和编码的图像概述如图所示。
在这里插入图片描述

论文在上层和下层使用代理模型。

在这里插入图片描述

论文从其他文献中收集了四种不同的精度预测替代模型，即多层感知器(MLP)、分类和回归树(CART)、径向基函数(RBF)和高斯过程(GP)。它在每次迭代中构建所有四种类型的代理模型，并通过交叉验证自适应地选择最佳模型。
在这里插入图片描述

为了进一步提高该算法的搜索效率，论文采用了广泛使用的权重共享技术。

首先，论文需要一个超级网络，以使所有可搜索的架构都是它的子网络。

论文通过获取搜索的架构超参数的最大值来构建这样一个超网，即五个块中各有四层，扩展比设置为6，每层的内核大小设置为7。

然后论文遵循渐进式收缩算法来训练超网络。

此过程将在体系结构搜索之前执行一次。在架构搜索过程中，从训练过的超级网继承的权重被用作为梯度下降算法的热启动。

将MSUNAS与其他单目标方法的相对搜索效率进行比较在这里插入图片描述

ImageNet分类数据集上比较NSGANETV2与手动和自动设计的高效网络。
在这里插入图片描述

MSUNAS在六个额外数据集的表现
在这里插入图片描述

本文介绍了MSUNAS，一种有效的神经结构搜索算法，用于快速设计多个竞争目标下的任务特定模型。

论文方法的效率源于
(i)在架构层次上的在线代理建模，以提高搜索的样本效率。
(ii)基于超网络的代理模型，以通过微调来提高权重学习效率。