1.motivation
最近,很多工作致力于利用视觉转换器(ViT)来完成具有挑战性的无监督域适应(UDA)任务。它们通常采用ViT中的Cross Attention进行直接的域对齐(CDTrans)。然而,由于Cross Attention的性能高度依赖于目标样本的伪标签质量,当域间隙较大时,域对齐的效果就会降低。
为了解决这一问题,本文从博弈的角度,提出了一个被称为PMTrans的模型,用一个中间域(使用源域patches和目标域patches通过线性插值组成)连接了源域和目标域,并且通过一个新提出的PatchMix模块和特征提取器(ViT)、分类器进行Min-Max博弈来对齐中间域和源域/目标域。
2.Method:PatchMix
PMTrans将UDA的过程解释为具有三个参与者的Min-Max CE(交叉熵)博弈,包括特征提取器,分类器和PatchMix。PatchMix模块通过学习使用基于博弈论模型的可学习beta分布生成的权重对两个域的patch进行采样,来有效地建立中间域,即概率分布。
PatchMix试图最大化中间域和源/目标域之间的CE,而特征提取器和分类器试图最小化CE来对齐域,一直达到参数稳定的均衡状态。如果混合来自两个域的混合patch表示等同于混合相应的标签,那么源域和目标域是对齐的。因此,最小化混合patch和混合标签之间的CE可以有效地促进域对齐。
2.1 PatchMix
PatchMix模块通过线性插值将源域和目标域的patches组合形成中间域的patches:
表示由源域第k个patch和目标域第k个patch线性组成的中间域的第k个patch。其中∈[0,1] 随机采样自