笔记：论文阅读Cross-Domain Weakly-Supervised Object Detection through Progressive Domain Adaptation

基于渐进域适应的跨域弱监督目标检测

摘要

访问源域中具有实例级注释的图像（例如，自然图像）和目标域中具有图像级注释的图像（例如，水彩）。

需要目标域中检测的类是源域中的类的全部或子集。

提出了一种两步渐进域自适应技术。从一个在源域上预训练的全监督目标检测器出发，通过对两种类型的人工和自动生成样本上的检测器进行微调。

在新收集的三个目标域数据集上进行测试，与当前性能最好的wsd相比，平均精度（mAP）提高了大约5到20个百分点。

一.介绍

目的：对缺少实例级数据集的其它领域（例如水彩）图片进行检测

任务描述：（i）在源域中可以使用实例级标注；（ii）在目标域中只能使用图像级注释；（iii）在目标域中要检测的类是源域中的类的全部或子集。准确的检测目标域的对象。

提出一种新的方法，首先在源域中对带有实例级标注的图像进行FSD（全监督）训练，然后在目标域中微调FSD。提出两种方法，并对其进行微调。

1.Domain transfer（DT）用于从具有实例级注释的源域图像生成与目标域中的图像相似的图像（例图下图从自然图像到水彩风格）。例如使用CycleGAN实现。

2.pseudo labeling（PL）用于在目标域生成伪实例标签。

然后对1.生成的数据集进行微调的FSD训练，并将此模型用于生成伪标签，然后再进行微调。

 

主要贡献如下：

1.提出一个新的任务框架，即跨域弱监督目标检测。通过对人工生成的样本进行域转移和伪标记，对FSD进行顺序微调，实现了两步渐进的域自适应。

2.构建了三个新实例级标注数据集，称为Clipart1k、Watercolor2k和Comic2k。

3.实验结果表明，本框架与当前最好方法相比，在mAP方面提高了约5到20个百分点。

二.相关工作

1.Fully Supervised Detection（FSD）全监督检测

2.Weakly Supervised Detection（WSD）若监督检测

3.Cross-domain Object Detection跨域目标检测，由源域到目标域

4.Unsupervised Domain Adaptation（UDA）无监督域自适应。用于学习域不变模型的任务，其中图像和注释对在源域中可用，而在目标域中仅可用图像。以往对UDA图像分类的研究大多是基于分布匹配的，利用最大平均差（MMD）[12]或领域分类器网络[23、8、24、35]使两个领域提取的特征彼此非常相似。虽然目前基于分布匹配的方法是可行的，但是对于需要结构化输出的任务，例如目标检测，完全对齐分布是一个主要的挑战。这是因为在特征地图中保留空间信息是非常必要的。我们的框架使用图像到图像的转换和微调来避免这个问题。

三.数据集

本论文使用源数据集为PascalVOC，目标数据集为自制，如下：

四.方法

如下图，首先在源域中使用实例级注释时对其进行预训练。其次，我们在使用DT获得的图像时对其进行微调。最后，我们在使用PL获得的图像时对其进行微调。强调，这两个微调步骤的顺序执行是至关重要的，因为PL的性能高度依赖于所使用的FSD。

1.域传输（DT）
本文所处理的源域和目标域的区别主要在于它们的低层特征，如颜色和纹理。我们生成与目标域中的图像相似的图像来捕获这些差异，然后，通过对生成图像的FSD进行微调，使FSD对这些差异具有鲁棒性。使用CycleGAN进行转换。使用CycleGAN，目标是学习两个图像域（源域和目标域）X和Y之间的映射函数，并进行未配对检验，一旦映射函数得到训练，我们就转换源域中用于预训练的图像，并获得伴随实例级注释的域传输图像。使用这些图像，FSD被微调。

2.伪标记（PL）

训练目标域中每幅图像，得到输出D=（p，b，c）p:类概率 b：bouding box c:类别，NMS选取bouding box

五.实验

实验结果如下，以下为数据集Clipart1k下的誓言，论文还对另两个数据集进行实验，实验结果见论文，Baseline为SSD300直接目标域检测，本论文主要在此基础上进行了DT，PL，DT+PL对比实验，和其他弱监督学习方法WSDDN，CLNet。。。方法进行对比。

作者还在YOLOv2和Fast R-CNN上进行验证