Transformer系列：Detection--＞ Deformable DETR (ICLR2021)

 

文章地址：https://arxiv.org/pdf/2010.04159.pdf。首先介绍文章的内容，后面附上自己的一些疑惑和思考，欢迎讨论。

 

1. Motivation

DETR 减少了目标检测中手工设计的过程（如anchor生成， NMS后处理，rule-based training target assignment），但它有两个缺点：

    1）收敛慢，比如在COCO上收敛需要500 epoch，比Faster RCNN慢了10到20倍；attention module在初始化时对每个pixel的attention weight是均匀分布的，因此需要较长时间使它学习去关注有意义的位置。

    2）小目标检测能力相对较弱。高分辨率的特征有利于小目标的检测，然而高分辨率特征的attention weight计算复杂度高，是pixel数量的平方。

Deformable conv是处理稀疏位置的一种有效机制。文章提出一种deformable attention module，只关注所有pixel中有着突出关键作用的一小部分sampling pixel。这个module也可以拓展到融合多尺度特征上，从而增强小目标检测能力。

除此之外，文章还提出了iterative bounding box refinement，并尝试two-stage方式进一步提高检测能力。

 

2. Method

Deformable DETR用它提出的(multi-scale)deformable attention module替代原始Transformer中的attention module，网络结构如下图。我们首先介绍deformable attention module。