这篇文章是结合对抗网络框架与深度学习技术解决domain adaptation应用的一个工作。具体而言,在这个框架中对三个部分进行训练:一个是feature extractor,这个是用于提取特征的,一般由卷积层与pooling层组成;另一个是label classifier,使用全连接层+逻辑斯蒂分类器;第三个在一般的分类器中不会出现,也就是和feature extractor构成对抗网络框架的分类器domain classifier,它也是一个分类器,由全连接层+交叉熵分类器构成。其中全连接层的激活函数都是relu函数。对抗体现在对于domain classifier损失在训练阶段两个相反的要求。具体而言:对于domain adaptation应用,我们希望网络学到的特征表示具有领域不变(domain invariant)的特征,那么就要求dimain classifier不能正确进行领域分类,也就是要求domain classifier的分类损失最大;另一方面在对domain classifier训练时,我们肯定要求分类器能尽可能的正确分类,也就是domain classifier的分类损失最小。这种对抗的框架最早出现在Goodfellow的文章Generative adversarial networks,它针对的应用是图像生成,为了训练一个生成模型学习样本的分布,在框架中引入了一个判别模型用于区分样本是由模型生成还是来源于真实分布,感兴趣的可以仔细看那篇文章的框架。下面给出这篇文章的框架。
其中绿色部分是
笔记:unsupervised domain adaptation by backpropagation
最新推荐文章于 2023-06-09 18:00:00 发布
该文提出了一种结合对抗网络的深度学习方法解决领域适应问题。通过训练特征提取器、标签分类器和领域分类器,其中领域分类器的目标是在特征空间中实现领域不变性。对抗学习的机制使得模型能在源域和目标域之间迁移学习,而不会因数据集偏差导致性能下降。在优化过程中,采用特定的更新策略以平衡两个分类器的损失,从而学习到域不变特征。
摘要由CSDN通过智能技术生成