一张图片理解BiFPN原理

一张图片理解BiFPN原理

直接上图

Notes:

1. P3、P4、P5、P6、P7表示backbone网络的输出层，每个输出层都有对应的输出feature（包含channel数，feature的大小等信息），例如P3的输出feature大小为输入图片分辨率/$2^3$, P4的输出feature大小为输入图片分辨率/$2^4$,依次类推，P7的输出feature大小为输入图片分辨率/$2^7$，分别为图中的P3_in, P4_in, … , P7_in;
2. 不带颜色的圆圈表示feature，带颜色的圆圈表示算子。有线连接的都表示权重w，向上向下连接都有resize操作，表示要么是upsampling要么是downsampling。

基本原理

BiFPN全称：bi-directional feature pyramid network。意思是，双向特征金字塔网络。
主要包含三大特点：

多尺度特征融合；

可参考FPN网络的原理理解

跨尺度连接；

可参考PANet网络原理理解

加权特征融合；

是BiFPN网络的创新之处，考虑到不同特征对输出特征的贡献大小不同，也就是重要性不同而引出的。

公式理解

图中已经给出了各输出层特征的加权计算公式，
下面是更加全面的公式帮助理解。
$P7\_out=Conv(\frac{P7\_in\ast W71+Resize(P6\_out)\ast W72}{W71+W72+ϵ})$

$P6\_out=Conv(\frac{P6\_in\ast W63+P6\_td\ast W64+Resize(P5\_out)\ast W65}{W63+W64+W65+ϵ})$

$P5\_out=Conv(\frac{P5\_in\ast W53+P5\_td\ast W54+Resize(P4\_out)\ast W55}{W53+W54+W55+ϵ})$

$P4\_out=Conv(\frac{P4\_in\ast W43+P4\_td\ast W44+Resize(P3\_out)\ast W45}{W43+W44+W45+ϵ})$

$P3\_out=Conv(\frac{P3\_in\ast W31+Resize(P4\_td)\ast W32}{W31+W32+ϵ})$

参考论文：EfficientDet: Scalable and Efficient Object Detection
链接：https://arxiv.org/pdf/1911.09070v2