目标检测的终极武器·Efficentdet的进阶之路--从Modile Net 到 Efficentnet 并附源码

Efficentdet的进阶之路

论文：https://arxiv.org/pdf/1911.09070.pdf
tf源码：https://github.com/google/automl/tree/master/efficientdet
pytorch源码：https://github.com/JianqiuChen/EfficientDet.Pytorch

MobileNet三部曲

【MobileNet V1】

把普通的卷积变成深度卷积(depthwise convolution)和点对卷积(pointwise convolution)。可以降低大约kernel size 平方倍

kernel 的大小是 DK 生成的特征图的DF M是输入通道数 N是输出通道数

原始的卷积是 DK × DK x DF x DF x M x N

deepwise 卷积是上图中b 表示用M个维度为DKDK1的卷积核去卷积对应输入的M个feature map，然后得到M个结果，而且这M个结果相互之间不累加（传统的卷积是用N个卷积核卷积输入的所有（也就是M个）feature map，然后累加这M个结果，最终得到N个累加后的结果）

c）就是 用N个维度为11M的卷积核卷积（b）的结果，即输入是DFDFM，最终得到DFDFN的feature map。这个就可以当做是普通的一个卷积过程了，所以计算量是DFDF11M*N

【MobileNet V2】

使用流行学习进行证明
1） ReLu会导致的较多的信息损耗在通道数较少的时候

策略：在输出通道较少的时候用线性激活函数，其他时候任然用ReLU6

2）通道数多的时候可以减少损失

策略：当使用ReLU6的时候，增加通道数为输入通道数的t倍

线性瓶颈的倒置残差结构：模块的输入为一个低维的压缩表示特征，首先将其扩展到高维并用轻量级depthwise conv 进行卷积。随后用线性卷积（linear conv）将特征投影回低维表示。

【MobileNet V3】

（1）用MnasNet搜索网络结构；
使用强化学习搜索最优网络，每层的结构多样化
搜索空间包含如下：

标准卷积，深度可分离卷积(DWConv), MBConv(即上面提到的MobileNetV2的卷积模块)
卷积核大小：3, 5, 7等
Squeeze-and-excitation ratio (SE-Ratio): 0, 0.25
Skip-connection
输出通道数
不同block中的layer数量

（2）V1的深度可分离卷积；

（3）V2的线性瓶颈的倒置残差结构；

（4）引入SE模块 （通道加权）

使有效的feature map权重大，无效或效果小的feature map权重小的方 式训练模型达到更好的结果。

（5）新的激活函数h-swish(x)；

（6）网格搜索中利用两个策略：资源受限的NAS和NetAdapt；

（7）修改V2最后部分减小计算。

【EfficientNet】 速度与精度的结合

对 网络深度、网络宽度、图像分辨率 在当前计算资源下进行调忧

网络的构建分两步进行：

第一步是在当前系数下，首先固定 $\varphi$ 为 1，即设定计算量为原来的 2 倍，在这样一个小模型上做网格搜索(grid search)，得到最佳系数 $\alpha$,$\beta$,$\gamma$

第二步 固定 $\alpha$,$\beta$,$\gamma$ 使用不同的混合系数$\varphi$放大网络。

【EfficientDet】 速度与精度的结合

作者在两个方向提高了目标检测模型的效率

【BIFPN】：快速实现多尺度的特征融合

BiFPN 和以往的FPN网络做对比

传统的FPN网络是受限于单向流动的网络结构
Conventional top-down FPN is inherently limited by the
one-way information flow.

PANet 引入了另一条bottom-up path 整合网络 图b

NAS 网络通过几千个gpu小时搜索到了一个较好的跨比例的特征网络（cross-scale feature network topology） 图c

BIFPN 在跨比例连接上的改进

第一点改进 每个字节点的输入信息不再只有一个

第二点改进 在同一level上建立另一条路径以在不增加参数的情况下融合更多的特征

第三点改进 加入了双向的路径 把双向的路径当作一个网络重复多次以完成更好的特征融合

BIFPN 在特征加权上的改进：

引入可学习权重

作者发现不同resolution的图像对输出特征的贡献程度也是不一样的

无限制的加权：
w 的值可以是一个标量（对每一个特征），可以是一个向量（对每一个通道），也可以是一个多维度的tenor（对每一个像素）。但是如果出现偏差不加限制容易导致训练不稳定。

简单解决方法是 每一个权重用softmax但是效率较低

最终解决办法是使用快速归一融合的方法

weight前采用relu函数 确保w>0

实验表明和softmax方法只有很细小的差异在学习行为和准确率上但是速度要快30%！

上图 第六层BIFPN融合的公式（所有的特征都用这种相似的方式）：

整体网络架构

复合缩放
主干网络：使用和 EfficientNetB0-B6一样的设置 以复用checkpoint

BiFPN网络：

Box/class prediction network:

宽度和BiFPN一样
深度改为：

Input image resolution：

整体的复合缩放设置