Domain Adaptation

最新推荐文章于 2024-05-25 11:16:24 发布

连理o

最新推荐文章于 2024-05-25 11:16:24 发布

阅读量365

点赞数

分类专栏：机器学习文章标签： transfer learning

本文链接：https://blog.csdn.net/weixin_42437114/article/details/120384031

版权

33 篇文章 15 订阅

订阅专栏

Domain Shift

Domain shift: Training and testing data have different distributions $\Rightarrow$ Domain Adaptation

可以看作是一种 transfer learning

在这里插入图片描述

Idea: training a model by source data, then fine-tune the model by target data
Challenge: only limited target data, so be careful about overfitting

Feature Extractor

在这里插入图片描述

Domain Adversarial Training

paper:
- Unsupervised Domain Adaptation by Backpropagation
- Domain-Adversarial Training of Neural Networks
Feature extractor: Learn to “fool” domain classifier. (但仅仅是欺骗 domain classifier 是不够的，因为 Feature extractor 可以永远输出一个常量即可很好地欺骗 domain classifier，Feature extractor 无法提取出真正有用的 feature) $\Rightarrow$ Also need to support label predictor
但是 feature extractor 的目标设为 $\min_{\theta_f}L-\lambda L_d$ 真的是最好的吗？它其中的一个优化目标 $L_d$ 其实就是和 Domain classifier 的目标相反，也就是使 Domain classifier 将 Source domain 分类为 Target domain，将 Target domain 分类为 Source domain，这其实也是将 Target domain 和 Source domain 分开了…

类似于 GAN，这个方法也是比较难训练的

Limitation

(1) 由于 target domain 中的是 unlabled data，因此单纯地使 source domain 和 target domain 提取出的 feature 重合在一起，也不一定会有很好的效果
- Considering Decision Boundary
  - A DIRT-T Approach to Unsupervised Domain Adaptation
  - Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
(2) 如果 source domain 和 target domain 中的数据包含的类别不一致怎么办？此时再要求 source domain 和 target domain 提取出的 feature 重合在一起也是不合适的
- Universal Domain Adaptation

Domain Generalization

paper: Domain Generalization with Adversarial Feature Learning (训练数据中就有很多个 domain 的图像)
paper: Learning to Learn Single Domain Generalization (更困难的情况: 训练数据中只有一个 domain 的数据)

关注

专栏目录