​李宏毅机器学习——领域适应Domain Adaptation

代码：李宏毅机器学习作业11——Transfer Learning，Domain Adversarial Training_iwill323的博客-CSDN博客

目录

domain shift（域的转变）

问题出现的原因

类型

​domain adaptation 面临的情况

少量有标注的目标领域资料：微调

大量无标注的目标领域资料：Feature Extractor

如何找到Feature Extractor: domain adversarial training（域对抗训练）

Considering Decision Boundary

在target Domain上只有很少量且没有标注的数据

没有目标领域资料：Domain Generalization

Universal Domain Adaptation

---

domain shift（域的转变）

当训练资料和测试资料存在不同的分布时，在训练资料上训练出来的模型在测试资料上面可能就会坏掉，这样的情况叫做domain shift（域的转变）。比如在黑白的数字上面训练一个模型，直接用到彩色的数字上，得到的正确率会低到只有 57%。涉及到域的转变就是领域自适应学习，就是将在A domain上学到的东西应用到B domain上，类似于transfer learning（在A任务上学到的技能可以用到B任务上）。

问题出现的原因

类似于Anomaly Detection，如果对Source Data中沒有出現過的(或稱Abnormal的)test data做测试，那麼model大部分都會因為不熟悉這個data而可能性能很差。

下面將model拆成Feature Extractor(上半部)和Classifier(下半部)來作例子: 

整個Model在學習Source Data的時候，Feature Extrator因為看過很多次Source Data，所以所抽取出來的Feature可能就頗具意義，例如像圖上的藍色Distribution，已經將圖片分成各個Cluster，所以這個時候Classifier就可以依照這個Cluster去預測結果。

但是在做Target Data的時候，Feature Extractor會沒看過這樣的Data，導致輸出的Target Feature可能不屬於在Source Feature Distribution上，這樣的Feature給Classifier預測結果顯然就不會做得好。

类型

domain shift有三种类型：

• 输入分布变化。原始domain和目标domain的输入资料不一样，导致输出几率的变化。
• 输出的分布变化。在训练资料上面每一个数字出现的几率都是一样的，但是在测试资料上面可能每一个输出的机率是不一样的。
• 输入跟输出虽然分布可能是一样的，但它们之间的关係变了。比较罕见

domain adaptation 面临的情况

领域自适应可能面临四种情况（针对掌握的目标领域资料而言）：

1、少量有标注的目标领域资料

2、大量无标注的目标领域资料

3、少量无标注的目标领域资料

4、没有目标领域资料

另外