- 本文为李宏毅 2021 ML 课程的笔记
目录
Domain Shift
- Domain shift: Training and testing data have different distributions
⇒
\Rightarrow
⇒ Domain Adaptation
Domain Adaptation
可以看作是一种 transfer learning
Knowledge of target domain: Little but labeled
- Idea: training a model by source data, then fine-tune the model by target data
- Challenge: only limited target data, so be careful about overfitting
Knowledge of target domain: Large amount of unlabeled data
Feature Extractor
Domain Adversarial Training
- paper:
- Feature extractor: Learn to “fool” domain classifier. (但仅仅是欺骗 domain classifier 是不够的,因为 Feature extractor 可以永远输出一个常量即可很好地欺骗 domain classifier,Feature extractor 无法提取出真正有用的 feature)
⇒
\Rightarrow
⇒ Also need to support label predictor
- 但是 feature extractor 的目标设为 min θ f L − λ L d \min_{\theta_f}L-\lambda L_d minθfL−λLd 真的是最好的吗?它其中的一个优化目标 − L d -L_d −Ld 其实就是和 Domain classifier 的目标相反,也就是使 Domain classifier 将 Source domain 分类为 Target domain,将 Target domain 分类为 Source domain,这其实也是将 Target domain 和 Source domain 分开了…
类似于 GAN,这个方法也是比较难训练的
Limitation
- (1) 由于 target domain 中的是 unlabled data,因此单纯地使 source domain 和 target domain 提取出的 feature 重合在一起,也不一定会有很好的效果
- Considering Decision Boundary
- (2) 如果 source domain 和 target domain 中的数据包含的类别不一致怎么办?此时再要求 source domain 和 target domain 提取出的 feature 重合在一起也是不合适的
Knowledge of target domain: little & unlabeled
Knowledge of target domain: None
Domain Generalization
- paper: Domain Generalization with Adversarial Feature Learning (训练数据中就有很多个 domain 的图像)
- paper: Learning to Learn Single Domain Generalization (更困难的情况: 训练数据中只有一个 domain 的数据)