【李宏毅2020 ML/DL】P86-87 More about Domain Adaptation

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

本节内容综述

1. 本节课由助教 Chao Brian 讲解。
2. 首先讲解些领域适配的基础内容，包括名词、定义等。
3. 接下来，会讲一些 DA 的常用方法。
4. 此外，复习了老师讲过的 DANN ，这里不多记录。
5. 在 Reconstruction-based methods 种，详细介绍 Domain Separation Networks 。
6. 下半节课，助教讲解了应用方面文章范例，包括语义分割等等内容。

小细节

Methods

Domain Adaptation Foundation

如上，领域适配算是迁移学习的一个子集。

Domain Adaptation

• Task 针对 target domain ，但在 training 时 target domain 没有（或是很少） label
• Source Domain 是 fully labelled

我们今天会聚焦于同质的 homogeneous 的 DA 。

Domain Adaptation Methods Overview

如上，我们需要在feature extractor上动手脚。

Discrepancy-based methods

Deep Domain Confusion (MMD)

如上，我们希望把 Source 与 Target 的分布拉近。

如上，希望两个 fc_adapt 层越近越好。

Deep Adaptation Networks

如上，这篇文章思想与 MMD 差不多，但是使用了更多层做 MMD 。

CORAL, CMD

如上，之前的方法使用的是 1st order moments 作为距离；而 CORAL 使用的是 2nd order moments 作为距离。

而 CMD 则是使用更高的 moments 作为距离。

Adversarial-based methods

Simultaneous Deep Transfer

如上，这篇文章主要做了两个重要性的工作：

• Maximum Domain Confusion
• Transfer Label Correlation

Maximum Domain Confusion

举个例子来详细讲解。

如上，希望通过大自然图片的训练，学会识别神奇宝贝。

如上，架构类似 GAN ，希望抽取出特征后，Discriminator 能够搞混 Domain 。