【深入理解DETR】DETR的原理与算法实现

1 DETR算法概述

①端到端
②Transformer-model

之前的方法都需要进行NMS操作去掉冗余的bounding box或者手工设计anchor， 这就需要了解先验知识，增加从超参数anchor的数量，

1.1 训练测试框架

一次从图像中预测n个object的类别

训练阶段我们将一张图像喂入DETR模型，会得到100个bounding box，并且得到这些预测框的类别信息和坐标信息
100个是超参数，因为大部分的图像中的object的数量不会超过100个
通过label我们知道图像中有2个object
然后使用匈牙利算法从预测出的100个候选框中筛选出2个预测框，与两个标注框一起计算损失，然后反向传播，优化模型参数

测试阶段：通过网络预测出100个预测框，把这100个预测框的置信度去和阈值进行比较，大于阈值的预测框保留。

这样在DETR里面是没有用到anchor也没有NMS操作的

算法的两个重点：一是基于集合的全局损失，通过二分类匹配得到与标注框匹配的独一无二的损失；二是引入encoder-decoder框架，

object queries是可学习的参数，通过他的尺寸指定输出的预测框的个数，在transforme中输出的token个数是等于输出的token个数，

没有固定的框架：只要框架能够支持这些，就能支持DETR
CNN+位置编码+encoder-decoder+MLP

2 DETR模型结构讲解

inference