ICLR2022系列解读之三：一个新的目标检测网络结构范式GiraffeDet

本文解读我们ICLR2022上发表的论文《GiraffeDet: A Heavy-Neck Paradigm for Object Detection》。我们提出了一个新的目标检测网络结构范式：GiraffeDet，它具有极轻量级计算量的backbone和大计算量的neck，使得网络更关注于高分辨率特征图中空间信息和低分辨率特征图中语义信息的信息交互。同时这个设计范式允许检测网络在网络早期阶段就以相同优先级处理高层语义信息和低层空间信息，使其在检测任务上更加有效。大量实验表明，在相同head及同量级Flops下，GiraffeDet能够取得比之前SOTA模型更优的结果。

论文地址：https://arxiv.org/abs/2202.04256

开源代码：https://github.com/jyqi/GiraffeDet

一、背景

图1. COCO和ImageNet数据集中前景目标分布[1]

目标检测任务面临的主要挑战在于尺度差异(Scale Variance)。图1 给出了ImageNet和COCO数据集中的前景目标在scale的分布，横轴(Relative Scale)为前景目标尺度相对于图片尺度的相对scale，竖轴(CDF)为当前scale下的前景目标数量占整个数据集中所有前景目标数量的百分比。可以看到：

1. COCO数据集中的前景目标scale跨度大：10%的小前景目标的scale(0.024)和10%的大前景目标的scale(0.472)相差足足20倍；
2. COCO数据集和ImageNet数据集的前景目标scale分布存在偏移：COCO数据集中小目标占比更大，有一半的目标的relative scale<0.106；相比之下ImageNet数据集中前景目标scale分布比较均匀，一半的前景目标的relative scale<0.556；

基于以上观察，在论文中，我们提出了两个问题：

1. 如何解决scale variance的挑战，获得针对目标检测任务有效的多尺度的表征(multi-scale representation)；
2. 目标检测网络的backbone基本都为scale-decreased的模型，使用ImageNet数据集进行Pretrain，这类设计的backbone是否在目标检测任务上不可或缺；

针对上述问题，我们在文章中提出了创新性的轻计算量backbone重计算量neck的GiraffeDet模型。

二、方法

解决Scale Variance这个问题，常用的两大种策略就是Image Pyramid或者Feature Pyramid。Image Pyramid在deep learning时代比较经典的有MTCNN, SNIP等；另外一大类方法是Feature Pyramid，也就是在neck上进行不同尺度特征的融合，代表工作主要有FPN、PANet、BiFPN，具体实现见图2。考虑到Image Pyramid带来的训练和测试时间成本，我们使用Feature Pyramid。