#今日论文推荐#ICLR 2022 | 基于Transformer的跨域方法——CDTrans

#今日论文推荐#ICLR 2022 | 基于Transformer的跨域方法——CDTrans

本文解读我们 ICLR 2022 上发表的论文《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》。这篇文章提出一种基于 Transformer 的跨域方法：CDTrans。它使用 Transformer 中的 CrossAttention 机制来实现 SourceDomain 和 TargetDomain 特征对齐。具体来说，在传统方法给 TargetDomain 打伪标签的过程中难免存在噪声。由于噪声的存在，需要对齐的 Source 和 Target 的图片对可能不属于同一类，强行对齐会对训练产生很大的负面影响。该方法经过实验发现 Transformer 中的 CrossAttention 可以有效避免噪声给对齐造成的影响。CrossAttention 让模型更多的关注 Source 和 Target 图片对中相似的信息。换句话说，即使图片对不属于同一类，被拉近的也只会是两者相似的部分。因此，CDTrans 具有一定的抗噪能力。最终实验也表明 CDTrans 的效果大幅领先 SOTA 方法。

大多数现有的 UDA 方法都集中在学习域特征表示上，希望能够学习到一个跟类别种类相关的而跟域无关的特征。目前的研究无论是从域层面（粗粒度）还是类别层面（细粒度）上的特征对齐操作，都是使用基于卷积神经网络（CNN）的框架。大体上主流的解决思路有两种，分别是基于分布度量一致性约束的方法和基于对抗学习的方法。具有代表性的技术分别是 MMD [1] 和 DANN [2] 。

论文题目：CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation
详细解读：https://www.aminer.cn/research_report/63077c927cb68b460f0bc6eehttps://www.aminer.cn/research_report/63077c927cb68b460f0bc6ee
AMiner链接：https://www.aminer.cn/?f=cs