跨域弱监督目标检测：DETR with Additional Global Aggregation for Cross-domain Weakly Supervised Object Detectio

源码学习见专栏置顶～

论文作者：Zongheng Tang,Yifan Sun,Si Liu,Yi Yang

作者单位：Beihang University;Baidu Inc;Zhejiang University

论文链接：http://arxiv.org/abs/2304.07082v1

内容简介：

1）方向：目标检测

2）应用：跨域弱监督目标检测

3）背景：研究认为DETR在CDWSOD中有潜力，因为DETR的编码器和解码器都基于注意力机制，并且能够在整个图像上聚合语义信息。然而，在弱监督目标检测中，目标位置和类别信息通常只有部分标注，需要通过合理的方法进行域对齐，以提高检测性能。

4）方法：作者提出了DETR with additional Global Aggregation (DETR-GA)，一种CDWSOD检测器，它同时进行“实例级别+图像级别”的预测，并利用“强监督+弱监督”。DETR-GA的关键点非常简单：对于编码器/解码器，分别添加多个类别查询/前景查询来将语义聚合成图像级别的预测。基于查询的聚合具有两个优点：首先，在编码器中，弱监督的类别查询能够粗略地定位相应的位置并排除非相关区域的干扰。其次，通过此次的设计，解码器中的对象查询和前景查询在类别语义上共享一致性，因此使强监督和弱监督相互受益，以实现域对齐。

5）结果：在四个流行的跨域基准测试中进行了大量实验，结果表明DETR-GA显著提高了CSWSOD，并推动了技术的发展（例如，PASCAL VOC --> Clipart_all数据集的mAP从29.0%提高到了79.4%）。