【DA 02】Domain Adaptive Faster R-CNN for Object Detection in the Wild (CVPR 2018)

 

摘要

目标检测通常假设训练和测试数据来自同一分布，不同分布会出现结果变差。本文致力于改善目标检测的cross-dmain robustness，通过两个level的domain shift：（1）the image-level shift，例如图片风格、光照等；（2）the instance-level shift，例如：目标外观、大小等。

具体是基于Faster RCNN，建立两个domain adaptation componets，他们基于H-散度，通过在对抗训练学习一个domain classifier。这两个domain classifier接着被正则化，以学习一个domain-invariant RPN。

在Cityscapes，KITTI，SIM10K上测试。

 

Introduction

1. 目标检测定义和发展。

2. 问题：当前目标检测在benchmark datasets上表现不错，但在真实世界中依旧存在很多挑战：多变的view-points，object appearance，backgrounds，illumination，image quality，这些都会导致训练和测试数据之间存在大量的domain shift。以自动驾驶为例：相机拍摄图片和训练数据集可能存在很大差异，比如不同城市，或是异常天气，大多数训练数据集是在干燥和良好视线的情况下收集。本文认为这是一个domain shift现象。

3. 当前解决方法：建立更广泛的数据集可以解决，但是标注费时费力。因此需要一种能够适应新域的目标检测算法。

4. 我们的解决方法：这是一个cross-domain 目标检测问题，并且是无监督域自适应问题。本文基于Faster R-CNN建立一个端到端深度学习网络，解决image-level和instance level两个层级的domain shift。具体，用adversarial training对两个domain classifier训练，以训练鲁棒的特征；进一步，对两个domain shift使用一个连续正则，学习一个domain invariant RPN。

5. 本文贡献：（1）理论分析；（2）在image和instance level的domain adaptation；（3）用一个consistency regularization建立domain-invariant RPN；（4）端到端

 

Related Work

Domain Adaptation: 在图像分类中广泛使用，（1）domain transfer multiple kernel learning [10, 11]，（2）asymmetric metric learning [33]，（3）subspace interpolation [23]，（4）geodesic flow kernel [22]，（5）sub-space alignment [14]，（6）covariance matrix alignment [52, 57]

Domain Adaptation Beyond Classification: [47] 用R-CNN作为feature extractor，特征在子空间中对齐。

 

Distribution Alignment with H-divergence

H-divergence [1] 用于量化两个不同分布集合之间的散度。定义为域分类器，假设H是可能的域分类器集合。H-divergence定义如下：

 为了对齐两个域，我们需求使得dH(S, T)最小的网络f，可得：

 error越高，两个领域越难分，即他们相互越靠近。对应于训练一个域分类器，在使得域分类器最小化损失（使他们尽量分离）的同时，通过gradient reverse layer (GRL)在feature extractor中最大化，使他们尽量靠近。

 

Domain Adaptation for Object Detection

covariate shift assumption：训练集和测试集分布不同，条件概率（predictor）是相同的。

Image-Level Adaptation，在Base CNN之后，第i张图片的feature map上的(u, v)位置的分类结果是pi(u, v)

Instance-Level Adaptation：在ROI Pooling之后，第i张图片的第j个region proposal的输出表示为pi,j。

Consistency Regularization：学习bbox predictor的cross-domain鲁棒性（例如：Faster R-CNN中的RPN），因此我们提出一个consistency regularizer。使用image-level domain classifier输出的均值作为image-level probability，可得：

 

Experiments