RepPoints学习笔记

RepPoints: Point Set Representation for Object Detection

ICCV2019

代码链接

论文链接

Abstract

• 边界框只能提供粗糙的定位，导致了粗糙的特征提取
• 本文提出了RepPoints（representative points），用一组样本点对目标进行识别和定位
• 能达到和基于Anchor的方法相当的精度
  • 46.5 AP and 67.4 $A{P}_{50}$ on the COCO test-dev

Introduction

• 如图1所示，RepPoints通过Groundtruth边界框的监督信息来进行训练
• RepPoints是一种自上而下的方法，其他的Anchor-Free的方法都是自下而上的
• 不同于ExtremeNet需要目标的mask作为额外的监督信息，RepPoints在无需额外的监督条件下生成细粒度的定位

Related Work

• 本文使用了可变形卷积
• 目标其他的表示形式：
  • 用于行人检测的椭圆表示
  • 旋转边界框
  • CornerNet用两个角点表示
  • ExtremeNet用四个极值点表示
• 其他的Anchor-Free的方法需要一些后处理去分组

RepPoints

• RepPoints用一组自适应的采样点表示目标（$n$是样本点个数，文中默认为9）：

• 边界框的多次回归细化对基于Anchor的方法至关重要，这里把采样点的细化表示为（ { ( △ x k , △ y k ) } k = 1 n \{(\triangle x_k,\triangle y_k) \}_{k=1}^n {(△xk​,△yk​)}k=1n​表示新样本点相对于旧样本点的偏移量）：
  • 边界框的细化存在一个问题，中心点坐标和宽高的细化比例不同，RepPoints没有这个问题

• 由于训练的时候需要边界框，所以需要把RepPoints转换成边界框，文中提供了三种思路：
  • Min-max function：在所有点中找边界值，获得包含所有点的外接框
  • Partial min-max function：选取部分点进行上述操作
  • Moment-based function：求出所有点的均值和方差，通过另外两个全局学习的系数将均值和方差还原为box

RPDet: an Anchor Free Detector

• 如图2，RPDet由两个基于可变形卷积的模块组成

  • 通过回归中心点的偏移获得第一组RepPoints（对每一个点回归N对偏移量）
  • 根据第一组RepPoints生成的边界框进行分类
  • 第二组RepPoints由第一组RepPoints加上定位分支学习到的偏移量得到
    • 这一部分只有定位损失，旨在找到更精确的定位

• 类似Yolo v1，采用中心点作为目标的初始表示，这种表示可能出现的问题是两个目标的中心点在同一个位置，使用FPN可以有效的缓解这种问题

• 检测头的网络结构如图3

• 分类损失采用Focal loss

• 定位损失为Groundtruth和预测框的左上角和右下角的Smooth L1损失

Experiments

• Ablation Study

  • RepPoints vs. bounding box（类似于yolo v1）

• 定位损失和分类损失的作用

• Anchor-free vs. anchor-based

• RepPoints生成bbox的方式
  

• RepPoints with deformable RoI pooling

• 和sota方法对比

Conclusion

• 这是我看的第一篇可以不断进行回归的Anchor-free的方法，还引入了可变形卷积是个很好的idea，我觉得可变形卷积和Anchor-free天然适配