强化学习孕育出来的模型 - MnasNet和Efficientnet

论文标题：
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

文章表示：通过对模型的不同维度的平衡，深度，宽度还有分辨率进行平衡可以提高模型的准确性。文章是通过神经结构搜索的方法来实现的，并且通过这个方法得到了一系列的Efficientnets。下面我们先阅读NASM然后阅读Efficientnets。

---

从NASM开始 ：提出一种资源约束的终端 CNN 模型的自动神经结构搜索方法。

文章的目的是为了：设计一个自动的神经网络搜索结构方法来设计一个可以用于移动端的神经网络结构模型，模型的搜索考虑到了模型的运行的速度，并将这个作为指标之一来指引神经网路搜索。可以关注下他的分层搜索策略。

论文两个主要的特点：

1.第一个点是同时考虑了速度和精度作为指标，同时用了强化学习来实现这些指标的学习

2.第二个点是不同于仅仅取搜索网络的整体结构，这里会将网络分成不同的部分，不同的部分会在某个范围内进行搜索，不同的Block会不同的结构提供进行搜索。

Those searched models do not take into account that operations like convolution greatly differ in latency based on the concrete shapes they operate on: for instance, two 3x3 convolutions with the same number of theoretical FLOPS but different shapes may not have the same runtime latency.

文中提到了帕雷托最优（called Pareto optimal），是一个概念&#