EfficientDet特点:
- 采用了带权重的双向FPN网络BiFPN进行特征融合,并通过模型学习得到不同特征的权重参数,不同的特征融合方式P3-P7,就得到了不同大小的EfficientDet模型
- 提出了对于resolution、depth、width进行联合扩展进行模型尺度缩放,提升模型性能
上图中,FPN是特征将金字塔网络,PANet是基于FPN的改进,NAS-FPN是使用网络搜索的方式自动确定特征融合的方式(可解释性差),BiFPN是EfficientDet中采用的特征融合方式。
FPN特征融合计算方法如下:
其中,Resize可以是反卷积模块进行上采样。
借鉴于FPN和PANet,以及NAS-FPN的融合方式,本文的BiFPN特征融合方法如下:
- 移除掉PANet中只有一个输入边的节点,也就是上图中PANet上标记removed的节点,这个设计的灵感来自于“只有一个输入就无法进行融合”的直觉。
- 增加同一层级中原始输入节点到输出节点的直连边,类似于Resnet中的short cut。也就是上图中BiFPN上P4、P5、P6层的直连线条。
- 不同于PANet模块只有一个由上至下,以及一个由下至上的路径,本文将BiFPN作为一个小的特征融合网络,并横向堆叠使用多次。
EfficientDet网络模型结构图:
带权重特征融合:
本文作者设计了三种带权重特征融合方法:
- 权重为一个标量,对特征整体进行加权融合
- 权重为一个向量,对特征的每个channel进行加权融合
- 权重为一个多维向量,对特征的每个pixel进行加权融合
对于上述三种特征融合方法,作者实验了几种融合的实现方式:
方式一:
可以是学习到任何参数,参数范围没有限制导致训练过程不稳定。
方式二:
对学习到的参数进行softmax归一化,但是引入softmax会使训练过程变慢。
方式三:
先对学习到的进行Relu变化使得参数大于等于0,然后进行求和归一化到[0,1]之间。
备注:以上权重归一化方式都是以BiFPN网络的节点为单位的,是在各个节点的特征融合中进行权重归一化。
上述公式是P6层两个节点的加权特征融合。
EfficientDet中resolution、width、depth混合缩放,得到不同大小的网络模型:
BackBone缩放采用与EfficientDet同样的方式:
BiFPN的width和depth缩放:
输出层预测网络的缩放:
Width缩放:
Depth缩放:
输入图像分辨率缩放:
对不不同的缩放系数,得到不同的网络模型大小D0-D7。