DETR系列文章之–Co-DETR

DETR系列文章之–Co-DETR

---

---

前言

Co-DETR充分考虑了一对一标签分配和一对多标签分配的互补性，将一对多标签分配的作为监督，并行训练多个辅助头，从辅助头中提取正样本。为了提高训练效率，制定了额外的定制化正样本query。

一对一标签分配：每个GT框分配给一个特定的query（DETR），较少的正query导致低效训练，从编码器生成的潜在表示和解码器中的注意力学习分析这一问题。

一对多标签分配：每个GT框分配给检测器输出的多个proposal/anchor，依赖NMS或者anchor生成（ATSS，RetinaNet，FCOS，PAA）。

代码地址
论文地址
CSDN解读

---

一、Co-DETR简介

1.网络模型

标准的DETR，输入image经过backbone网络和encoder生成潜在特征，多个预定义的query通过cross-attention在decoder中进行交互。Co-DETR通过协同混合分配训练方案和定制的正query来改善encoder中的特征学习和decoer中的注意力学习

2.协同混合分配训练

不同的一对多标签分配，丰富对编码器输出的监督，迫使它具有足够的区分度来支持辅助头的训练收敛。给定编码器潜在特征F，通过多尺度适配器转化为特征金字塔（F1, F2, … Fj），将（F1, F2, … Fj）输入Ak(相应的标签分配方式)获得预测值Pi^，利用Ai计算Pi ^和G的二值匹配，得到相应坐标中的正负样本监督目标。

其中{pos}和{neg}表示由Ai 确