DETR-端到端的目标检测框架

论文：https://arxiv.org/abs/2005.12872
代码：https://github.com/facebookresearch/detr

DETR

第一个将 Transformer 成功整合为检测 pipeline 中心构建块的目标检测框架。基于Transformers的端到端目标检测，没有NMS后处理步骤、真正的没有anchor，且对标超越Faster RCNN。
DETR将检测视为集合预测问题，简化了目标检测的整体流程。它没有现在主流的目标检测器中的anchor、label assign、nms等操作，做到了真正的end-to-end。它主要采用了Transformer的编解码结构，它在序列预测任务上大获成功。Transformer中的自注意力机制显示地界定了序列中元素间的相互作用，因此可以用于约束集合的预测结果。
DETR通过将常见的CNN与transformer架构相结合，直接（并行）预测最终的检测结果。 在训练期间，二分匹配将唯一的预测分配给GT框。 不匹配的预测应产生“无对象”（∅）类预测。
DETR的流程大为简化，可以归结如下：Backbone -> Transformer -> detect header。

将DETR的结构在具体化，可以表示如下