EfficientNetV1-学习记录

引入：本次学习内容基本来自于Mingxing Tan ，Quoc V. Le等编写的的《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》，以及部分讲解视频，本学习记录仅为个人学习收获，部分内容存在纰漏烦请各位大佬批评指正。
（一）摘要：EfficientNet论文中提出了一种新的模型缩放方法，以此来平衡网络深度，宽度，分辨率，并带来更好的性能。设计了一种新的基线网络结构，叫EfficientNet，具有很好的准确性以及很少从参数量。

（二）发表时间：2019

（三）关键词：卷积网络结构优化，模型缩放方法

（四）学习笔记：

EfficientNet论文中提出了一种新的模型缩放方法，以此来平衡网络深度，宽度，分辨率，并带来更好的性能。设计了一种新的基线网络结构，叫EfficientNet，具有很好的准确性以及很少从参数量。

相比于以往扩大卷积网络的方法，要么扩大深度和宽度，要么随机对图像的大小进行缩放。作者提出了一种缩放模型，每次缩放都是按照固定的参数来进行缩放，并且处理后的图像如果放进以往的卷积神经网络都有很不错的表现。

在较大模型中。改变网络的宽度，深度，图像的分辨率都可以提高精度，但是高分辨率有时会让精度下降，大的深度并不是代表效果一定好，例如ResNet-1000的效果等同于ResNet-101。而且，宽度大的模型又十分的浅，难以捕获高层次的特征。于是作者做了一个实验，在维持深度和宽度不变的前提下，改变分辨率，发现精度迅速饱和，但是如果这时改变深度的话，精度就会变得更好。因此，平衡三者之间的关系变得十分重要。

于是作者提出了四个参数以此为限制，作为约束分辨率，深度和宽度的标准。

其中的φ是一个用户指定的系数。其他三个分别对应深度，宽度，分辨率（α，β，γ是通过小网格搜索来确定）。

最终经过测试，得到三者之间的最佳值分别是：α=1.2，β=1.1，γ=1.15。

而EfficientNet-B0的结构基本是在MObileNetV3的结构上提出的，首先是3×3卷积层，接着就是七个MBConv层，MBConv是MobileNetV3中使用的一种卷积块。首先是1×1的升维卷积层，接着是DW卷积块，接着就是引入的注意力机制，最后再用1×1卷积层完成降维。之前的步骤都使用了BN+Swish激活，但是这里只有BN操作。最后是一个drop out层。