【Transfer Learning】Adversarial Discriminative Domain Adaptation

Adversarial Discriminative Domain Adaptation这篇论文正式发表于2017的CVPR，但在2017年的ICLR的Workshop中就已经展露了头角，主要详细的讨论了在Domain Adaptation（即DA领域）中将生成对抗的想法如何更好的融入进来， 实现1+1>2的效果。按照惯例，我们先来看一下写这篇论文的大佬们和他们所属的机构。

一作：Eric Tzeng，University of California Berkeley——作为被引量将近1000的ADDA这篇论文的一作，Eric Tzeng功不可没，来自Berkeley大学的Eric Tzeng也是在Transfer Task、Cross-Domain、DA等方向研究的大佬。例如，DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition这篇论文的被引用量超3000，感兴趣的小伙伴们可以关注一下Eric Tzeng。
二作：Judy Hoffman，Stanford University——主要的方向是聚焦于计算机视觉和机器学习，近几年的论文基本集中在Transfer Task、Multi-Source Adaptation等方向，有兴趣的伙伴可以关注一下Judy Hoffman的主页。

【论文地址】Adversarial Discriminative Domain Adaptation
【论文翻译】Adversarial Discriminative Domain Adaptation-简书(汉堡薯条嘿嘿嘿)

---

1 Introduction 介绍

我们已知，深度学习算法的成功依赖于深度学习数据集的发展，但是数据集同时为模型的泛化能力产生了壁垒（因为在A数据集上训练出来的模型可能在B数据集上表现较差），因而我们知道在不同的数据集上存在domain shift或者是database bias，即域漂移或者数据集偏移。 在domain shift小的情况下，模型的泛化能力较好，而在domain shift大的情况下，模型的泛化能力偏弱。基础的方法就是Fine-tune一下这个模型，然而在deep learning模型中存在着大量的参数，并且很难获得足够的标注，所以fine-tune的表现有时会比较普通。DA的方法目的是缩小domain shift带来的负面影响。 目前方法常用的有两种，一个是优化domain shift的评价指标，例如MMD，相似度距离等；另一个从源域重构目标域。

对抗学习与迁移学习的融合是当前迁移学习领域中的一个热点，一些方法通过将对抗学习用于无监督域适应，确实减少了源域和目标域之间的差异，并提高了泛化能力。 其中也存在一些改进的地方，比如CoGAN对源域和目标域之间不太相似的情况下表现一般，会导致梯度的逐渐消失、使用权值共享的对称映射使得源分类器表现很棒，但是在多源域的情况下表现就不好。在论文的实验中，CoGAN就很难收敛。

在这项工作中，我们提出了一个新的对抗域适应的统一框架，使我们能够有效地研究现有方法之间差异的不同因素，并清楚地看到它们各自的相似性。 我们的框架统一了设计选择，例如权重分配，基本模型和对抗性损失，并包含了以前的工作，同时也促进了对现有实例进行改进的新颖实例的设计。特别是，我们观察到输入图像分布的生成模型不是必需的，因为最终的任务是学习判别式表示。另一方面，与对称特征相比，非对称映射可以更好地建模低级特征的差异。因此，我们提出了一种以前未曾探索过的，无监督的对抗性适应方法，即对抗性区分域自适应（Adversarial Discriminative Domain Adaptation，ADDA）。ADDA首先使用源域中的标签来学习区分表示，然后使用一种单独的编码来映射目标，使用通过域对抗损失获悉的非对称映射将数据传输到同一空间，在很多数据集上都表现不错。

2 Generalized adversarial adaptation 广义对抗适应

先来明确源域、目标域一些可能用到的名词表示：

域	图像 Images	标签 Labels	分布 Distribution	特征表示 Representation	分类器 Classifier
源域 Source Domain	$X_s$	$Y_s$