DN-DETR 2022

【DN-DETR: Accelerate DETR Training by Introducing Query DeNoising】

DETR收敛速度慢的原因是二部图匹配算法的不稳定性，导致早期训练阶段的优化目标不一致。

提出一种新颖的去噪训练方法加快收敛，并使效果更好。在训练过程中引入查询去噪任务来帮助稳定二部图匹配。我们将带噪声的地面真值边界框作为带噪声的查询与可学习的锚点查询一起馈送到变压器解码器中。对于有噪声的查询，我们执行去噪任务来重建它们对应的地面真值框；对于其他可学习的anchor query，我们使用与Vanilla DETR相同的训练损失，包括二部匹配。由于带噪的bbox不需要经过二部图匹配分量，因此去噪任务可以作为一项更容易的辅助任务，帮助检测更快地缓解不稳定的离散二部匹配和学习bbox预测。为了最大限度地发挥这一辅助任务的潜力，我们还将每个解码器查询看作一个bbox+一个类label embedding，从而既可以进行盒去噪，又可以进行标签去噪。

使用DAB-DETR的方法将decoder query视作4d的anchor-box信息，我们采用DAB-DETR作为检测体系结构来评估我们的训练方法，其中使用附加指示符的label embedding来代替解码embedding部分来支持标签去噪。

我们将噪声bbox的目标设置为原始bbox，其动机是绕过二部图匹配，直接学习逼近groundtruth box。

DN-DETR

对于每幅图像，我们收集所有的GT对象，并将随机噪声添加到它们的包围盒和类别标签中，为了最大化去噪学习的效用，我们对每个GT对象使用多个噪声版本。