EfficientNet算法解析和实践

之前的深度学习论文都是在某个设计维度上对网络结构进行研究，比如网络结构的操作层个数（深度）、输入图片的分辨率或者操作层的通道数（宽度），很少有论文同时对这三种维度上的组合搜索进行研究。EfficientNet研究的就是在相同FLOPS算力的限制下，探索网络深度、宽度和分辨率对相同操作类型网络的结果影响，找到最优的配置比例参数。

优化问题

本论文研究不是对网络中操作层的类型进行搜索，假定论文的基本卷积网络中的每个阶段的操作都是一样的，比如以ResNet为例，网络有5个stage，每个stage中每个层的卷积操作和残差块都是一样的。基本卷积网络的问题可以描述为：

在这个公式中，$F_i^{L_i}$表示的是stage $i$中重复$L_i$次相同的操作$F_i$，$X_{(H_i,W_i,C_i)}$表示的是大小为$(H_i,W_i,C_i)$的输入特征向量$X$。
在一个标准的卷积神经网络中，网络结构的变化一般规律是：随着网络深度的增加，分辨率在每个stage减小一半，特征通道翻倍。EfficientNet的设计空间是每个stage的分辨率$(H_i,W_i)$、通道数$C_i$和操作层数$L_i$，为了减小搜索的设计空间，规定这三个维度的数值在stage上按照一定比例均匀变化。作者的目的是希望在给定资源限制的条件下，找到网络的深度、宽度和分辨率，最大限度地提高模型网络的分类准确率，优化问题可以表述为：

其中，$d,w,r$分别表示的网络的深度depth、通道宽度width和分辨率resolution。

组合缩放

作者在文章分别探索了改变网络的深度、通道宽度和分辨率的情况下，对于网络准确率和浮点计算量的影响。实验结果如下图所示。

上图中左中右分别代表的是在固定其他两个参数的条件下，分别提高宽度、深度和分辨率系数的条件下，在ImageNet上面的精度和计算量变化。从上图我们可以观察到，随着三种系数的增加，网络模型的计算量越来越大，但是准确率的增加几近停滞。
作者做了一些实验，探索了在不同深度和分辨率下，通道数变化对对于网络模型精度的影响，如下图所示。

可以看出，经过一些简单的比例调整（深度和宽度），在相同的FLOPS下，网络模型随着宽度的增加，获得比基准网络获得更大的精度收益。作者得出了这样一个结论：调整和平衡三个维度的系数，在相同计算量下，可以获得精度更高的网络模型。
论文中最后提出了一种叫做混合缩放的方法，引进了一个混合系数$\varphi$，统一了三种维度系数的变化，变化的方法为：

其中，$\alpha ,\beta ,\gamma$分别表示深度、宽度和分辨率三种维度的基本构成比例，这个比例的约束是$\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2$，为什么宽度和分辨率的比例系数需要平方呢？因为计算量FLOPS的变化比例是和$\beta$或者$\gamma$的平方成正比的，这样子的话才能保证FLOPS随着$\varphi$的变化呈现$2^{\varphi }$的比例变化。

网络架构

因为本文的搜索空间不包括操作层类型，所以一个好的基准网络baseline对于整体效果也是至关重要。作者综合分类准确率和计算量的综合指标，以MnasNet的基本模块MBConv为搜索空间，搜索出了一个基准网络（FLOPS<400M），叫做EfficientNet-B0，这个网络模型的结构为：

可惜的是，作者在论文中并没有给出是用什么方法搜索的。
在有了B0的网络之后，作者通过两步来调整EfficientNet中的网络系数：

1. 固定$\varphi =1$这个系数，采用网络搜索方法，基于公式(2)和(3)，找到$\alpha ,\beta ,\gamma$的最佳组合，搜索出来的结果是$\alpha =1.2,\beta =1.1,\gamma =1.15$。
2. 固定$\alpha ,\beta ,\gamma$这三个系数，逐渐放大$\varphi$这个系数，获得B1 - B7的网络模型。

实验结果

论文在ImageNet数据集上做实验，得到了EfficientNet B0 - B7八个网络的结果，并和其他相同配置下的网络作对比。如下表格所示。

从表格中可以看出，在差不多精度的条件下，不同级别的EfficientNet和其他网络相比，具有更少的计算量的参数量，计算量一般能提升4倍以上，有些甚至达到了十几倍，参数量也都减小了3倍以上。部分网络用FLOPS-Accuracy二维图表示的话，优势更加直观，如下。

为了验证论文方法的可扩展性，还在MobileNet v1、MobileNet v2和ResNet-50的基准网络上做实验，得到如下结果：

在论文中，还对其他数据集和网络进行迁移实验，均获得比当前网络更好的水平，这里我就不一一列出了。
作者在EfficientNet的训练技巧上使用了Auto Augment、tensorflow版本的RMSProp优化器、Exponential Moving Average和dropout等trick，训练模型的代码已经公布在了Github里tensorflow/tpu的仓库上。

实践

2019年时，我在tensorflow上使用单机8卡GPU对B0网络进行训练，基本上复现了论文的结果，但是B3的复现效果却不理想，比论文给出的稍微低一些。另外，网络上也有其他人实现了PyTorch版本的EfficientNet网络模型结构，比较出名的有Timm库，我在PyTorch上利用该库的网络和训练方法，也将B0网络训练到77.38的准确率。
另外，虽然EfficientNet的参数量和计算量比其他网络少很多，但是这个网络里面大量使用了MBConv，这种模块需要分通道卷积，这种卷积方法比较消耗GPU显存，所以虽然计算量少了很多，但是在训练的时候batch size却无法设置过大。