NAS论文阅读笔记（MnasNet）

MnasNet：Platform-Aware Neural Architecture Search for Mobile

MnasNet的主要亮点是Factorized Hierarchical Search（鼓励layer diversity）和real-world inference latency（通过在mobile phone运行模型），搜索空间中加入了SEnet。
与之前方法不同的是，latence aware multi-objective reware和novel search space。首先将设计问题作为一个多目标优化问题公式化，同时考虑accuracy和inference latency。不用FLOPS估计inference latency 而是直接测量real-world latency。其次搜索少量的cells并堆叠它们虽然简化了搜索过程，但是阻碍了对计算效率很重要的layer diversity，所以提出factorized hierarchical search space 这使得层在架构上有所不同。

主要贡献
1.介绍了一种多目标神经网络结构搜索方法，该方法可以优化移动设备的准确性和真实世界的延时
2.提出一种新的分层分解搜索空间，使层多样，但仍保持灵活性和搜索空间大小之间的平衡
3.在typical mobile latency 约束下，展示了新的最好的Imagenet分类和coco目标检测的accuracy。

Problem Formulation
ACC（m）是目标任务的accuracy，LAT（m）是目标mobile platform的inference latency。T是target latency。

上述公式是在对latency进行约束的条件下提高accuracy，但是这种方法不提供multiple Pareto optimal solutions（Pareto optimal是指拥有最好的accuracy但是latency没有提高，或者拥有最好的latency但是accuracy不提高），改进公式：

hard constraint：α=0，β=-1
soft constraint：α=β=-0.07

Mobile Neural Architecture Search

1.Factorized Hierarchical Search Space
提出layer diversity对实现high accuracy和lower latency很重要，factorized hierarchical search space将cnn模型分解为独特的blocks，然后分别搜索每个块的操作和连接，从而允许在不同的块中使用不同的层结构，并且需要根据输入输出shape搜索最佳操作已以得更精确的延迟权衡。

将CNN模型划分为一系列预定义的块，逐渐降低输入分辨率并增加过滤器大小，这在许多CNN模型中都很常见。每个块都有一组相同的层，它们的操作和连接由每个块子搜索空间决定。
块i的自搜索空间由以下选项组成：

We discretize all search options using MobileNetV2 as a reference: For
#layers in each block, we search for {0, +1, -1} based on MobileNetV2; for filter size per layer, we search for its relative size in {0.75, 1.0, 1.25} to MobileNetV2 [29]

假设我们将网络划分为B个块，每个块有一个大小为S的子搜索空间，每个块平均有N层，那么我们的总搜索空间大小将是S^B。每层的搜索空间是S^B*N

Search Algorithm
Learning transferable architecture for scalable image recognition
将search space中的CNN模型映射到a list of tokens，tokens由一系列由强化学习基于参数θ的agent的anction决定，目标是最大化期望的奖励

m是由action决定的采样模型，R（m）是由公式2定义的目标值，通过此文的第一张图可知搜索框架由三部分组成：RNN控制器，获得模型accuracy的训练器，以及一个基于参考引擎的测量latency的mobile phone。按照samp-eval-update循环来训练控制器。

At each step, the controller first samples a batch of models using
its current parameters θ, by predicting a sequence of tokens based on
the softmax logits from its RNN. For each sampled model m, we train it
on the target task to get its accuracy ACC(m), and run it on real
phones to get its inference latency LAT(m). We then calculate the
reward value R(m) using equation 2. At the end of each step, the
parameters θ of the controller are updated by maximizing the expected
reward defined by equation 5 using Proximal Policy Optimization. The
sample-eval- update loop is repeated until it reaches the maximum num-
ber of steps or the parameters θ converge