#Paper Reading# EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

论文题目: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
论文地址: https://arxiv.org/abs/1905.11946
论文发表于: ICML 2019

论文大体内容：
本文主要提出了EfficientNet模型，来同时考虑网络的deep、width、resolution（分辨率）三个方面的参数，使得该模型既能取得state-of-art的效果，也能降低参数量（8倍降低），提升速度（6倍提速）。

Motivation：
网络结构的优化和调整，方向一般包括3方面：deep、width、resolution。但是之前研究的调整，往往是武断的，并没有太多方法论，而且往往都是只往一个方向去优化，没有考虑到这3方面都是相互影响的。

Contribution：
本文作者提出EfficientNet模型，能同时调整网络的deep、width、resolution，并均衡模型的效果和计算量，以达到速度快、参数少、效果好的目标。

1. 之前的一些研究，往往从网络的deep、width、resolution三方面来调整网络结构，而本文作者想将这3个方面都一起考虑，同时调整；

2. 网络结构的传递，往往会深度、宽度都减少，但是channel维度增加，如从输入（224, 224, 3）到最后的输出（7, 7, 512）；

3. 传统的CNN关注于模型结构的调整，但是本文关注于在已有模型结构下，更好的调整模型深度、宽度、分辨率，这也导致本文提出的模型，极其依赖于baseline network；

4. 作者通过简单的实验证明，3个参数同时调整，能够取得更好的效果；

5. 传统的CNN的计算量与deep，width^2，分辨率^2成正比，所以本文提出一个参数限制，以控制最后的运算量；

6. 作者为了均衡模型效果和运算量，使用了下面的公式来作为优化目标；

7. EfficientNet的整体solution就是：
①选择一个效果很好的baseline network，如本文用的MnasNet[1]；
②执行deep、width、resolution共3个参数的grid search，使得运算量在2倍的情况下，效果最优；（论文中的Step 1）
③固定②中找到的最优的deep、width、resolution这3个参数，调整指数项φ，次数增长；（论文中的Step 2）
P.S. 其实如果运算力够的话，可以直接搜索α，β，γ，但是往往运算力不够，所以用本文提出的方法，仅需要step1+step2就好；

实验
6. Dataset
ImageNet；

8. 实验结果

9. efficientnet最合适的尺寸和最后一层的层数[3]
efficientnet-b0-224 1280
efficientnet-b1-240 1280
efficientnet-b2-260 1408
efficientnet-b3-300 1536
efficientnet-b4-380 1792
efficientnet-b5-456 2048
efficientnet-b6-528 2304
efficientnet-b7-600 2560

参考资料： 
[1] http://openaccess.thecvf.com/content_CVPR_2019/html/Tan_MnasNet_Platform-Aware_Neural_Architecture_Search_for_Mobile_CVPR_2019_paper.html
[2] https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
[3] https://blog.csdn.net/qq_15557299/article/details/105887629
 

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！