ICLR2022系列解读之三:一个新的目标检测网络结构范式GiraffeDet

本文解读我们ICLR2022上发表的论文《GiraffeDet: A Heavy-Neck Paradigm for Object Detection》。我们提出了一个新的目标检测网络结构范式:GiraffeDet,它具有极轻量级计算量的backbone和大计算量的neck,使得网络更关注于高分辨率特征图中空间信息和低分辨率特征图中语义信息的信息交互。同时这个设计范式允许检测网络在网络早期阶段就以相同优先级处理高层语义信息和低层空间信息,使其在检测任务上更加有效。大量实验表明,在相同head及同量级Flops下,GiraffeDet能够取得比之前SOTA模型更优的结果。

论文地址:https://arxiv.org/abs/2202.04256

开源代码:https://github.com/jyqi/GiraffeDet

一、背景

图1. COCO和ImageNet数据集中前景目标分布[1]

目标检测任务面临的主要挑战在于尺度差异(Scale Variance)。图1 给出了ImageNet和COCO数据集中的前景目标在scale的分布,横轴(Relative Scale)为前景目标尺度相对于图片尺度的相对scale,竖轴(CDF)为当前scale下的前景目标数量占整个数据集中所有前景目标数量的百分比。可以看到:

  1. COCO数据集中的前景目标scale跨度大:10%的小前景目标的scale(0.024)和10%的大前景目标的scale(0.472)相差足足20倍;
  2. COCO数据集和ImageNet数据集的前景目标scale分布存在偏移:COCO数据集中小目标占比更大,有一半的目标的relative scale<0.106;相比之下ImageNet数据集中前景目标scale分布比较均匀,一半的前景目标的relative scale<0.556;

基于以上观察,在论文中,我们提出了两个问题:

  1. 如何解决scale variance的挑战,获得针对目标检测任务有效的多尺度的表征(multi-scale representation);
  2. 目标检测网络的backbone基本都为scale-decreased的模型,使用ImageNet数据集进行Pretrain,这类设计的backbone是否在目标检测任务上不可或缺;

针对上述问题,我们在文章中提出了创新性的轻计算量backbone重计算量neck的GiraffeDet模型。

二、方法

解决Scale Variance这个问题,常用的两大种策略就是Image Pyramid或者Feature Pyramid。Image Pyramid在deep learning时代比较经典的有MTCNN, SNIP等;另外一大类方法是Feature Pyramid,也就是在neck上进行不同尺度特征的融合,代表工作主要有FPN、PANet、BiFPN,具体实现见图2。考虑到Image Pyramid带来的训练和测试时间成本,我们使用Feature Pyramid。

图2. Feature Pyramid不同设计

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI Earth地球科学云平台

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值