Fast Convergence of DETR with Spatially Modulated Co-Attention

为了加速DETR收敛，本文提出了一种简单而有效的方案来改进DETR框架，即空间调制协同注意（SMCA）机制。即插即用，让DETR涨点明显。性能优于可变形DETR、DETR等网络。

注1：文末附【Transformer】和【目标检测】交流群

注2：整理不易，点赞的人暴富，论文多多！

SMCA

Fast Convergence of DETR with Spatially Modulated Co-Attention

• 作者单位：港中文(李鸿升团队), 商汤(代季峰), 北大
• 论文：https://arxiv.org/abs/2101.07448

最近提出的检测Transformer （DETR）模型成功地将Transformer应用于目标检测，并与两阶段目标检测框架（如Faster-RCNN）实现了可比的性能。但是，DETR的收敛速度很慢。从头开始训练DETR 需要500个epochs才能达到很高的精度。为了加速其收敛，我们提出了一种简单而有效的方案来改进DETR框架，即空间调制协同注意（SMCA）机制。

SMCA的核心思想是通过将共同注意力响应限制在初始估计的边界框位置附近较高的方式࿰