DETR Doesn’t Need Multi-Scale or Locality Design

论文名称：PlainDetr
发表时间：ICCV2023
开源代码
作者及组织： Yutong Lin,Yuhui Yuan等，来自西安交大，微软亚洲研究院。

前言

 自Detr以来，后续paper的改进的方向：主要是将归纳偏置重新又引入进Detr结构，比如DINO，ConditionDetr，HybridMatch等。但这与Detr原始简洁的结构设计背道而驰。于是本篇工作旨在保持Detr简洁结构设计上，提高其精度。
  关于DETR相关内容可参考：
   1）Detr
   2）DeformableDetr
   3）ConditionalDetr
   4）DAB-DETR
   5）DN-DETR
   6）DINO

1、方法

 文中首先设计了一个强的Detr的Baseline，在coco上12epoch的mAP=37.2。详细的配置参数如下图：表格中的小trick均来自其余论文。具体是啥就不详细介绍了，感兴趣可参考前言中文献 😏。

1.1.MIM预训练Backbone

  在目标检测中，MIM已经证实比全监督预训练的性能更好 ，消融实验表明：mim-swin-s比sup-swin-s的mAP从37.2提高到44.6。
 另外，MM中每层特征图中其实都蕴含了归纳偏置，故可以只用一层layer即可，无需FPN或者MultiHeadAttn。如下图，作者采用了©的结构，且实验表明，并没有掉点。

1.2.Box-to-Pixel Relative Position Bias

  原始Detr中cross-attention可表示为：
$$\begin{array}{c}O=Softmax(Q{K}^{\mathrm{T}})V+X\end{array}$$
  本文提出的BoxRPE可表示为：
$$\begin{array}{c}O=Softmax(Q{K}^{\mathrm{T}}+B)V+X\end{array}$$
  其中，上式中的B的计算流程如下图所示：首先输入是一张图像及pred_box，两个五角星的位置分别表示pred_box的左上角和右下角角点。然后分别从X轴和Y轴对这两个角点进行编码：以 $\delta(x_1) $ 为0点，依次向左向右编码W个相对坐标[-4,7]；然后经过MLP并广播得到B。

1.3. Bounding Box Regression re-param

  在Detr回归中，xywh均进行了归一化，但没有区分大小物体的损失权重：被大物体的损失主导。于是，作者重新编码了回归的范式：

 其中 l 表示第几层layer， t* 表示模型的gt值 ，然后跟预测框进行loss计算即可。

2、实验

 上述三个trick的消融实验如下图：

  跟其余方法对比实验：

思考

  相较于DeformableDetr，省去了MultiHeadAttn这个算子，且只用一层layer，结构变得简洁 。但是在源码中，作者在生成候选框时，其实还是采用了四层，作者说只用一层的话，会掉一个点左右，还需实测一下。