深度迁移学习的几种范式

一、无监督迁移学习

1. Discrepancy-based methods
TCA
JDA
这类方法基于特征的统计量来做，除了均值这个度量标准外，还可以借鉴类似方差的二阶统计量

2. 目标域适配源域
充分利用源域丰富的数据和标签信息，尽可能学习一个映射将目标域映射到源域
DATN， Deep Asymmetric Transfer Network for Unbalanced Domain Adaptation

3. Adversarial discriminative models
用一个域对抗的思想，学习一个让二分类器难以区分的共享特征，把GAN的思想借鉴过来，学习共享特征。
无监督UDA GAN

DANN(RevGrad)
ADDA（不好收敛）
DIFA(三阶段）

领域正逆映射 Cycle GAN
这三种方法为source 和target寻找shared feature space

4. Data reconstruction based methods
这类方法的目标是学习一个共享特征，满足两个条件：
1.在这个特征上，最小化目标数据的重建误差。
2.最小化源域的分类误差。
这类方法包括google的Domain Separation Networks (DSN)和Deep Re-construction Classification Network(drcn)

5. Asymmetric Tri-training为UDA提供了新的思路，为target 赋予pseudo label

二、半监督迁移学习

CCSA
Few-shot adversarial domain adaptation

三、监督迁移学习
fine-tune