EfficientDet: Scalable and Efficient Object Detection---论文阅读（1）

论文链接：arXiv:1911.09070v4
官方源代码地址：https://github.com/google/automl/tree/master/efficientdet.
非官方pytoch版本（运行速度更快）：https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch

Abstract

模型效率在计算机视觉中的地位越来越重要。本文系统地研究了目标检测的神经网络体系结构设计选择，并提出了几种提高效率的关键优化方法。首先，我们提出了一种 加权双向特征金字塔网络（BiFPN） ，该网络允许简单快速的多尺度特征融合；其次，我们提出了一种复合尺度方法，该方法可以同时均匀地对所有骨干网、特征网络和box/类预测网络的分辨率、深度和宽度进行缩放。基于这些优化和EfficientNet主干网，我们开发了一个新的对象检测器家族EfficientDet，它在广泛的资源限制范围内始终比现有技术获得更好的效率。特别是，在单模型和单尺度的情况下，我们的EfficientDet7在COCO测试设备上实现了最先进的52.2 AP，具有52M参数和325B触发器1，比以前的检测器小4-9倍，使用的触发器比以前的检测器少13-42倍。

BiFPN

在这一部分中，我们首先阐述了多尺度特征融合问题，然后介绍了我们提出的BiFPN的主要思想： 有效的双向交叉尺度连接和加权特征融合。
1. 问题描述
图2（a）显示了传统的自上而下FPN[20]。它采用3-7级输入特征~P in=（Pin 3；：：P in 7），其中Pin i表示分辨率为1=2i的输入图像的特征级别。例如，如果输入分辨率为640x640，则管脚3表示分辨率80x80的功能级别3（640=23=80），而管脚7表示分辨率为5x5的功能级别7。传统的FPN以自顶向下的方式聚合多尺度特征：

其中Resize通常是用于分辨率匹配的上采样或下采样操作，Conv通常是用于特征处理的卷积操作。
2. 交叉尺度连接 Cross-Scale Connections
传统的自顶向下FPN固有地受到单向信息流的限制。为了解决这个问题，PANet[23]添加了一个额外的自底向上的路径聚合网络，如图2（b）所示。交叉尺度连接在[17，15，39]中有进一步的研究。最近，NAS-FPN[8]采用神经架构搜索来搜索更好的跨尺度特征网络拓扑结构，但在搜索过程中需要数千GPU小时，发现的网络是不规则的，很难解释或修改，如图2（c）所示。
通过研究这三种网络的性能和效率（表5），我们发现PANet比FPN和NAS-FPN具有更好的精度，但需要花费更多的参数和计算。为了提高模型的效率，本文提出了几种跨尺度连接的优化方法：首先，我们移除那些只有一个输入边的节点。我们的直觉很简单：如果一个节点只有一个输入边而没有特征融合，那么它对以融合不同特征为目的的特征网络的贡献就较小。这导致了一个简化的双向网络；第二，如果原始输入节点与输出节点处于同一级别，我们会在它们之间添加额外的边，以便在不增加太多成本的情况下融合更多功能；第三，与PANet[23]不同，PANet[23]只有一个自顶向下和一个自下而上的路径，我们将每个双向（自上而下和自下而上）路径视为一个特征网络层，并多次重复同一层，以实现更高层次的特征融合。第4.2节将讨论如何使用复合缩放方法确定不同资源约束的层数。通过这些优化，我们将新的特征网络