最优传输论文（十一）：Multi-source Domain Adaptation in the Deep Learning Era: A Systematic Survey论文原理

前言

• 这是一篇综述类的文章，时间比较新，2020年。
• 在这项综述中，作者定义了各种MDA策略，并总结了可用于评估的数据集。作者还比较了深度学习时代的现代MDA方法，包括潜在空间转换和中间域生成。最后，讨论了MDA未来的研究方向。

Background and Motivation

• 老生常谈，还是缺乏标注，而人工标注成本无法接受。
• 在深度学习时代，最近的单源数据分析(SDA)方法通常采用具有两种方法的联合体系结构来分别表示源域和目标域的模型。一种方法旨在使用相应的任务损失，例如用于分类的交叉熵损失，基于标记的源数据来学习任务模型。另一种方法旨在通过对齐目标域和源域来处理域转移。根据比对策略，深度SDA方法可分为四类:
  • 基于差异的方法试图通过明确测量相应激活层上的差异来对齐特征，例如最大平均差异（MMD），相关对齐（correlation alignment）和对比域差异（contrastive domain discrepancy）。
  • 对抗生成方法基于生成对抗网络(GAN)及其变体，如CycLegan生成伪数据，在像素级对齐源域和目标域。
  • 对抗性鉴别方法采用带有领域鉴别器的对抗性目标来对齐特征。
  • 基于重构的方法旨在利用源任务模型从提取的特征中重构目标输入。
• 在实践中，标记的数据可以从具有不同分布的多个来源收集。在这种情况下，上述数据采集和分析方法可以通过将多个数据源合并为一个数据源来简单应用:这种方法我们称之为source-combined DA