经典CNN结构之EfficientNet

序言

拼卡，拼公司厚度，略有沮丧。
少卡小公司训练EfficientNet挺难搞的，所幸可以迁移学习之法利用，略感欣慰。
GoogleBrainTeam-2019之作。
话不多说，上图以证其惊艳：

而更让EfficientNet大放异彩的是，基于EfficientNet的目标检测算法EfficientDet也屠榜了。

网络结构

图解

Model Scaling

常用的三种提升网络表征能力的方法：deeper，wider，higher resolution。

其中，a为基线网络；b为增大感受野的方法扩展网络；c为增大网络深度的方法扩展网络；d为增大分辨率的方法扩展网络；e为paper所提出的复合参数扩展方法。

EfficientNet-B0

EfficientNet-B0-B7 Performance Results on ImageNet

EfficientNet Performance Results on Transfer Learning Datasets

EfficientNet Model Parameters vs. Transfer Learning Accuracy

详解

1.paper主要讲述了如何利用系列系数Scaling Dimensions统一缩放模型的所有维度，进而实现模型精度最高效率最高的过程。系列系数包括w，d，r，其中，w表示卷积核大小，决定了感受野大小；d表示神经网络的深度；r表示分辨率大小。
2.组合缩放系数
问题提出：当计算资源增加时，如果彻底的去搜索宽度、深度、分辨率这三个变量的各种组合，那么搜索空间将无限大，搜索效率会非常低。
解决方法：用单一的组合缩放系数fai，同时缩放宽度、深度和图片分辨率，缩放公式如下图。而深度、宽度和分辨率的缩放基数 [公式] ，由在基准模型上取 [公式] 做参数搜索得到，作者在Efficient-B0上搜索的最终结果是 [公式] 。1.2/1.1/1.15

创新思想

核心点

【Compound Scaling】组合缩放
【利用NAS搜索出一个更好的Backbone】

感悟点

卡多就是任性；
钱多就是嚣张；

论文复现

参考论文

1.EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

代码实现

Source code is at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet