DETR系列文章之–Co-DETR
文章目录
前言
Co-DETR充分考虑了一对一标签分配和一对多标签分配的互补性,将一对多标签分配的作为监督,并行训练多个辅助头,从辅助头中提取正样本。为了提高训练效率,制定了额外的定制化正样本query。
一对一标签分配:每个GT框分配给一个特定的query(DETR),较少的正query导致低效训练,从编码器生成的潜在表示和解码器中的注意力学习分析这一问题。
一对多标签分配:每个GT框分配给检测器输出的多个proposal/anchor,依赖NMS或者anchor生成(ATSS,RetinaNet,FCOS,PAA)。
一、Co-DETR简介
1.网络模型
标准的DETR,输入image经过backbone网络和encoder生成潜在特征,多个预定义的query通过cross-attention在decoder中进行交互。Co-DETR通过协同混合分配训练方案和定制的正query来改善encoder中的特征学习和decoer中的注意力学习
2.协同混合分配训练
不同的一对多标签分配,丰富对编码器输出的监督,迫使它具有足够的区分度来支持辅助头的训练收敛。给定编码器潜在特征F,通过多尺度适配器转化为特征金字塔(F1, F2, … Fj),将(F1, F2, … Fj)输入Ak(相应的标签分配方式)获得预测值Pi^,利用Ai计算Pi ^和G的二值匹配,得到相应坐标中的正负样本监督目标。
其中{pos}和