《CARS Continuous Evolution for Efficient Neural Architecture Search》阅读笔记

《CARS Continuous Evolution for Efficient Neural Architecture Search》阅读笔记

本文所做内容

相关介绍

​ NAS的方法主要包括：Evolution Algorithm (进化算法EA)，Reinforcement Learning (RL)，gradient based methods。

​ 连续进化算法是用来最大化利用我们上一次进化学到的知识。具体的说首先需要初始化一个包含必须的块和单元的SuperNet，然后根据EA算法通过一些操作在SuperNet中生成新的结构。非支配的排序策略是用来选择几种不同模型大小和精度的优秀体系结构，并对SuperNet中的相应单元进行更新，以供后续操作使用。

所做内容

​ 本文作者提出连续将进化算法应用于神经网络架构搜索（NAS）。给定一个SuperNet，搜索得到一群共享参数的网络结构，在训练几轮数据后这些参数将被调整。下一代的搜索将直接继承SuperNet和这次搜索到的一群网络，从而加速了最优网络生成。在本文中还应用非支配的排序策略使得只保留帕累托前沿结果，以正确的更新SuperNet。结果显示在0.4GPU das之后就会生成一些模型大小和精度不同的网络结构。作者还使用了一种保护机制以避免小的模型陷阱问题。

本文所用方法

​ 本文提出的CARS方法包含：参数优化，架构优化两步。

SuperNet of CARS

​ 对于SuperNet N，每个网络Ni都能用(Wi,Ci)对表示，其中Wi表示网络的参数，Ci表示二值连接，Ci如果为0则表示不存在连接，反之为1则表示存在。

对于一些网络W可以共享，如果这些网络架构是固定的，则可以用bp算法优化参数。在参数收敛之后，我们可以轮流的使用GA算法优化连接C。

Parameter Optimization

​ 都是一些公式的介绍直接看原文就行了，总结在图后。

​ 总结：理论上整个的参数W的梯度是p个Wi的平均，而本文使用大小为B的批量训练的方法，所以应该是B个平均。优化使用SGD算法。可以通过设置B的大小来平衡效率与准确率。

Architecture Optimization

​ EA算法+非支配排序。

​ Ni支配Nj定义如下，如果Ni支配Nj那么Ni可以取代Nj。

​ 通过这种方法我们可以从生成的架构中选择一系列比较出色的，然后可以用这些网络更新SuperNet 中对应的参数。

​ 但是在这个搜索步骤里可能存在小模型陷阱现象：小的参数更少，准确率更高的模型，而大的模型目前的准确率较低，但是可能以后会更高。

​ 基于以上的NSGA-III算法，我们考虑准确率增长速度提出pNSGA-III算法。下图2展示了这两种算法的不同效果。

Continuous Evolution for CARS

​ 在参数优化，架构优化两步之前，还引入了parameter warm-up。

​ 执行算法如下图所示：

Parameter warm-up

​ 为了避免随机初始化SuperNet的参数带来的最常用的操作训练最多次的问题。作者像DARTS一样在训练中的每一轮，8个操作（四累卷积，两类池化，Skip连接，不连接）都有相同的概率被选择。

Architecture Optimization

​ 在初始化完SuperNet的参数之后，我们首先随机采样P个不同的架构，然后在进化步骤中，我们生成t*P个子代（t是拓展率）。接着使用pNSGA-III算法从（t+1）xP个网络中选择P个架构组成下一代。

Parameter Optimization

​ 同上介绍。

Search Time Analysis

​ 简单直接看图。

结果

中…(img-GbL45kH2-1586244815047)]

[外链图片转存中…(img-NW18mj8E-1586244815048)]