对比学习系列论文SimROD（二）: A Simple Adaptation Method for Robust Object Detection

0.Abstract

0.1逐句翻译

This paper presents a Simple and effective unsupervised adaptation method for Robust Object Detection (SimROD).
提出了一种简单有效的无监督自适应鲁棒目标检测方法。

To overcome the challenging issues of domain shift（领域迁移） and pseudo-label noise（假标签噪声）, our method integrates a novel domaincentric data augmentation, a gradual self-labeling adaptation procedure, and a teacher-guided fine-tuning mechanism.
要克服的挑战问题域转变(领域迁移)和pseudo-label噪声(假标签噪声)我们的方法集成了一种新的以领域为中心的数据增强、一个渐进的自标记适应过程和一个教师引导的微调机制。

Using our method, target domain samples can be leveraged to adapt object detection models without changing the model architecture or generating synthetic data.
使用我们的方法，可以利用目标域样本来适应目标检测模型，而无需改变模型架构或生成合成数据。

When applied to image corruptions and high-level crossdomain adaptation benchmarks, our method outperforms prior baselines on multiple domain adaptation benchmarks.
当应用于图像腐蚀（image corruptions）和高水平跨域自适应基准时，我们的方法在多个域自适应基准上优于先前的基准。
（这里我还不太确定image corruptions是什么意思）

SimROD achieves new state-of-the-art on standard real-to-synthetic and cross-camera setup benchmarks.
SimROD在标准的真实到合成和跨相机设置基准上实现了当前最好的水平。
（主要是表述两个内容，在从真实到合成和跨越不同相机的情况下表现良好）

On the image corruption benchmark, models adapted with our method achieved a relative robustness（鲁棒性） improvement of 15-25% AP50 on Pascal-C and 5-6% AP on COCO-C and Cityscapes-C.
在图像腐败基准上，采用我们方法的模型在Pascal-C上获得了15-25% AP50的相对鲁棒性提高，在COCO-C和cityscape - c上获得了5-6% AP的相对鲁棒性提高。
（就是在图像腐蚀的问题上鲁棒性更好）

On the cross-domain benchmark, our method outperformed the best baseline performance by up to 8% and 4% AP50 on Comic and Watercolor respectively.1
跨域基准上，我们的方法在Comic和Watercolor上分别比最佳基准性能高出8%和4%的AP50（在跨领域的情况下有很好的效果）

0.2总结

也就是使用无监督的方法实现了目标检测在图像腐蚀和领域迁移的自适应当中取得了很好的效果。

1. Introduction

1.1逐句翻译

第一段（大约就是说明领域迁移的重要性）

State-of-the-art object detection models are highly accurate when trained on images that have the same distribution as the test set [39].
当在与测试集[39]具有相同分布的图像上训练时，最先进的目标检测模型具有很高的准确性。

However, they can fail when deployed to new environments due to domain shifts such as weather changes (e.g. rain or fog), light condition variations, or image corruptions (e.g. blur) [25].
然而，当部署到新环境时，由于域的变化(如天气变化(如雨或雾)，光照条件变化，或图像损坏(如模糊)[25]，它们可能会失败。

Such failure is detrimental for mission-critical applications such as self-driving or automated retail checkout, in which domain shifts are inevitable.
这种失败对关键任务应用程序(如自动驾驶或自动零售结账)是有害的，在这些应用程序中，领域转移是不可避免的。
（有很多应用都会受到领域迁移的影响，与此同时，这些应用当中领域迁移又是不可避免的）

To make them reliable, it is important for detection models to be robust to domain shifts.
为了使它们可靠，检测模型对域转移具有鲁棒性是很重要的。

第二段（介绍主要的领域迁移的方法：数据增广、域对齐、域映射、伪标签自动生成）

Different types of methods have been proposed to overcome domain shifts for object detection namely data augmentation [25, 14, 12], domain-alignment [6, 11, 38, 37, 27, 16,23,17], domain-mapping [3,18,23,17], and self-labeling techniques [33, 30, 22, 18].
们提出了不同类型的方法来克服目标检测中的域偏移，即数据增强[25,14,12]，域对齐[6,11,38,37,27,16,23,17]，域映射[3,18,23,17]，和自标记技术[33,30,22,18]。

Augmentation methods can improve the performance on some fixed set of domain shifts but fail to generalize to the ones that are not similar to the augmented samples [1, 26, 32].
增广方法可以提高某些固定的域移集的性能，但不能推广到与增广样本不相似的域移集[1,26,32]。
（增广你最多就是进行有限数量种类的增广，也就只能解决一部分）

Domain-aligning methods use target domain samples to align intermediate features of networks.
域对齐方法使用目标域样本来对齐网络的中间特征。

These methods require the addition of specialized modules such as gradient reversal layers, domain classifiers to the model.
这些方法需要在模型中添加特殊模块，如梯度反转层、领域分类器等。

On the other hand, domain-mapping methods translate labeled source images to new images that look like target domain images using image-to-image translation networks.
另一方面，域映射方法利用图像到图像的转换网络将标记的源图像转换为与目标域图像相似的新图像。
domain-mapping methods

Similar to augmentation methods, they are suboptimal since the generated images do not always have a high similarity to real target domain images.
与增强方法类似，它们是次优的，因为生成的图像并不总是与真实目标域图像有很高的相似性。（因为生成的图片也仅仅是和目标领域十分相似，并不是真正的目标域图片）

Finally, self-labeling is a promising approach since it leverages unlabeled training samples form the target domain.
最后，自标记是一种很有前途的方法，因为它利用了来自目标域的未标记训练样本。

However, generating accurate pseudo-labels under domain shift is hard; and when pseudo-labels are noisy, using target domain samples for adaptation is ineffective.
然而，在域移位的情况下很难生成准确的伪标签;当伪标签有噪声时，利用目标域样本进行自适应是无效的。
(伪标签大约就是我们在使用半监督学习的方式当中，我们使用当前阶段训练出来的模型估计这个东西大概率是什么，之后给他标记上)

第三段（介绍本文工作的优点、贡献）

In this paper, we propose a Simple adaptation method for Robust Object Detection (SimROD), to mitigate the domain shifts using domain-mixed data augmentation and teacher-guided gradual adaptation.
在本文中，我们提出了一种简单的鲁棒目标检测自适应方法(SimROD)，利用域混合数据增强和教师引导的渐进自适应来缓解域漂移。

Our simple approach has three design benefits.
我们的简单方法有三个设计优点。

First, it does not require ground-truth labels of target domain data and leverage unlabeled samples.
首先，它不需要目标域数据的实际标签，并利用未标记的样本。

Second, our approach requires neither complicated architecture changes nor generative models for creating synthetic data [18].
其次，我们的方法不需要复杂的架构更改，也不需要生成模型来创建合成数据[18]。

Third, our simple method is architecture-agnostic and is not limited to region-based detectors.
第三，我们的简单方法是与体系结构无关的，并且不局限于基于区域的检测器。
The main contributions of this paper are summarized as follows:
本文的主要贡献总结如下:

1.We propose a simple method to improve the robustness of object detection models against domain shifts.
我们提出了一种简单的方法来提高目标检测模型对域移动的鲁棒性。

Our method first adapts a large teacher model using a gradual adaptation approach.
我们的方法首先采用渐进适应方法对一个大型教师模型进行调整。

The adapted teacher generates accurate pseudo-labels for adapting the student model.
被调整的教师生成精确的伪标签以适应学生模型。

2.We introduce a data augmentation called DomainMix for learning domain-invariant representations and for reducing the pseudo-label noise.
我们引入了一种称为DomainMix的数据增强，用于学习域不变表示和减少伪标签噪声。

It efficiently mixes the labeled source domain images with unlabeled samples from the target domain along with their (pseudo-)labels.
它有效地将有标记的源域图像与来自目标域的未标记样本及其(伪)标签混合在一起。

The mixed training samples give strong supervision for adapting both the teacher and student models.
混合训练样本对教师模型和学生模型的适应都有很强的监督作用。

3.We conduct a comprehensive benchmark and ablation studies to demonstrate the effectiveness of SimROD in mitigating different domain shifts namely synthetic-to-real, cross-camera setup, real-to-artistic, and image corruptions.
我们进行了一项全面的基准和消融研究，以证明SimROD在缓解不同领域的转移(即合成到真实、跨相机设置、真实到艺术和图像腐蚀)方面的有效性。

Our simple method are competitive with more complicated baselines and achieve new state-of-the-art results on some of these benchmarks.
我们的简单方法与更复杂的基准相比具有竞争力，并在其中一些baseline上取得了新的最先进的结果。

1.2总结

陈述目标检测面临的问题：
在目标检测的重要应用（自动驾驶、零钱支付）会受到领域迁移的影响（如天气变化，所处地区变化）

分析传统方法：

• 1.Augmentation 数据增强，数据增强只能增强其中一部分。
• 2.Domain-aligning methods域对齐，对齐网络的中间特征，这个需要在网络当中加入额外的部分。
• 3.Domain-mapping methods域对应，也就是将原来域当中的标记的图片，对应到目标域，这个很难做到真正的对应。
• 4.Self-labeling自标记,就是根据原有模型获得一个伪标签，但是这有个问题，在很多情况下很难获得伪标签，伪标签获得之后也不准确。

提出自己的方法，具有如下优点：

• 1.使用未标记的数据。
• 2.不需要额外的修改网络的结构。
• 3.本文的模型还可以应用到其他应用上。

2. Motivation and related works

暂时跳过

3. Problem definition and proposed solution

In this section, we define the adaptation problem and describe our proposed solution.
在本节中，我们将定义适应问题并描述我们提出的解决方案。

3.1. Problem statement

3.1.1逐句翻译

大约就是给了一个传统的目标检测模型M，输入一张图片，获得一个包含bounding box信息和分类信息的张量。

他这个知识蒸馏使用方法大约就是：怎么生成伪标签的问题，教师模型首先在labeled数据上进行训练，得到很好的训练效果，之后使用教师模型训练unlabeled数据，训练的方式就是self—labeling技术（生成伪标签），训练教师网络，之后教师网络相当于适应了领域迁移。

之后让教师网络生成伪标签，训练新的学生网络，达到学生网络也能适应领域迁移的目的。

并且因为是使用self—labeling的方法，所以这里输入的新的领域的图片不用打标签，直接拍正常的图片就可以了。

总结起来提出的关键思路就是，教师网络更能适应领域迁移，教会学生网络学会领域迁移，并且在训练的过程中，使用特殊的数据增强DomainMix augmentation。

DomainMix augmentation就是把不同领域的图片拼接在一起形成一个新的图片进行输入：