论文:https://arxiv.org/abs/2005.12872
代码:https://github.com/facebookresearch/detr
DETR
第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架。基于Transformers的端到端目标检测,没有NMS后处理步骤、真正的没有anchor,且对标超越Faster RCNN。
DETR将检测视为集合预测问题,简化了目标检测的整体流程。它没有现在主流的目标检测器中的anchor、label assign、nms等操作,做到了真正的end-to-end。它主要采用了Transformer的编解码结构,它在序列预测任务上大获成功。Transformer中的自注意力机制显示地界定了序列中元素间的相互作用,因此可以用于约束集合的预测结果。
DETR通过将常见的CNN与transformer架构相结合,直接(并行)预测最终的检测结果。 在训练期间,二分匹配将唯一的预测分配给GT框。 不匹配的预测应产生“无对象”(∅)类预测。
DETR的流程大为简化,可以归结如下:Backbone -> Transformer -> detect header。
将DETR的结构在具体化,可以表示如下DETR使用常规的CNN主干来学习输入图像的2D表示。 模型将其展平并在将其传递到tr