EfficientDet论文阅读补充笔记

一、摘要

1.提出了一个基于加权的双向特征金字塔网络(BiFPN)允许简单快速的进行多尺度特征融合。
2.提出了一种复合尺度扩张方法，该方法可以统一地对所有的Backbone网络，特征网络和预测网络的分辨率，深度和宽度进行缩放。

二、 Introduction

能否在有效资源限制范围内，构建高效率高精度的网络？（两个挑战）
1.高效的多尺度特征融合
2.模型缩放

三、 BiFPN

1.多尺度特征融合问题

a.FPN：自上而下（top-down）结合多尺度特征的方法（P3-P7）

Resize通常是上采样或下采样操作。
缺点：本质上受到单向信息流的限制。

b.PANet：在FPN之上增加了一个额外的自下而上的路径聚合网络

PANet比FPN和NAS-FPN获得了更好的精度，但代价是更多的参数和计算。

c.STDL：提出跨尺度特征的尺度转换模块

d.M2det：提出了一种多尺度融合特征的U行模块

e.NAS-FPN：使用神经架构搜索来找到不规则的特征网络拓扑，然后重复应用相同的块。（无规则）

f.BiFPN：

构造过程：
1.删除那些只有一条输入边的节点。
原因：如果一个节点只有一条输入边而没有特征融合，那么它对旨在融合不同特征的特征网络的贡献就很小。
2.在同一水平的节点，在原始输入到输出节点间添加额外的边。
原因：这样在不增加太多成本的情况下能融合更多的特征。
3.把top-down和bottom-up固定成一个特征网络层，并且重复多次。
原因：实现更高级别的要素融合。

2.加权特征融合

不同的输入特征具有不同的分辨率，它们通常对输出特征的贡献是不相等的。为了解决这个问题，建议为每个输入增加一个额外的权重，并让网络了解每个输入特征的重要性。（很熟悉。不再展开）

四、EfficientDet

1.对于backbone网络

直接采用EfficientNet-B0 to B6中的复合系数，并采用 EfficientNet作为backbone。

2.对于BiFPN网络

对于BiFPN network中width和depth的设置:
深度（#layers）：线性增长
宽度（#channel）：指数增长
$\varphi$:Pick the best value 1.35 as the BiFPN scaling factor.

3.对于Box/Class预测网络

对Box/class prediction network中的depth的设置。

4.对于输入图像分辨率

对于Input image resolution的设置（必须是2⁷的倍数）

5.详细的复合系数设置

五、实验结果

1.在COCO数据集上和其他流行的检测网络的详细对比结果

2.模型大小和推理延迟

3.不同特征融合方式的对比实验结果

4.不同缩放方式的比较结果