MS-DETR:不用引入额外Decoder分支的one-to-many方法

代码地址
论文地址

摘要

MS-DETR这篇论文还是用于解决DETR中一对一匹配带来的训练效率低的问题，具体可以去看前面我对H-DETR的介绍。相比于先前的工作，如H-DETR，Group-DETR，这篇论文提出的方法最大的区别就是没有引入额外的decoder分支，从而大大降低了资源消耗。MS-DETR使用一个类似于预测头的模块用于一对多监督，具体方法下面介绍。下面是MS-DETR的效果图：

从上到下分别是gt，top20queries来自baseline（应该是deformable detr），top20queries来自ms-detr，可以看到整体的候选框效果都变好了。

MS-DETR

关于DETR的架构，大家可以去看原论文，这里就不展开讲了，主要还是讲MS-DETR中提到的新方法。

如图所示是目前一对多监督的多种思路。a是原始的一对一监督，b就是论文提到的MS-DETR，c是Group-DETR，DN-DETR等方法使用的，d是H-DETR方法使用的。可以看到MS-DETR仍然是在原来的decorder基础上进行的，这也是它与后面两者最大的区别之一。具体实现是怎样的呢？下面具体讲解

一对一监督

一对一监督就是原始的DETR使用的方法，公式如下：$$\mathbf{B}={\text{box}}_{11}(\tilde{\mathbf{Q}}),\mathbf{S}={\text{cls}}_{11}(\tilde{\mathbf{Q}})$$这里只展示经过decoder layer后的步骤，其中$\tilde{\mathbf{Q}}$是经过decoder layer后的结果，经过两个预测头得到得分与回归框结果，11表示一对一，后面的1m表示一对多。
关于一对一的损失函数，公式如下$${\mathcal{L}}_{11}=n=1$$