Structure-Aware Feature Fusion for Unsupervised Domain Adaptation

摘要

无监督域适应（Unsupervised Domain Adaptation，UDA）旨在从有标注的源域中学习并迁移通用特征到无任何标注的目标域。现有的方法仅对高层次的表示进行对齐，却没有利用复杂的多类别结构和局部空间结构。这导致了两个问题：1）当不同类别的特征错位时，模型容易出现负迁移；2）缺失局部空间结构会对细粒度特征对齐造成重大障碍。在本文中，我们将分类器预测和局部特征图中包含的有价值信息整合到全局特征表示中，然后进行单一的极小极大博弈，使其具备域不变性。通过这种方式，域不变特征不仅描述了原始图像的整体表示，还保留了模式结构和细粒度的空间结构信息。特征整合是通过同时估计和最大化全局特征、局部特征和分类器预测之间的互信息（MI）来实现的。由于在高维空间中直接测量互信息较为困难，我们采用了一种新的目标函数，通过有效的采样策略和判别器设计隐式地最大化互信息。我们的结构感知特征融合（STAFF）网络在多个UDA数据集上实现了最先进的性能。

引言

深度神经网络的成功依赖于大量标注的训练数据。然而，所学习的表示对输入扰动和数据集偏差非常敏感，也就是说，深度网络可能很难泛化到新的数据集或环境中。在实际应用中，为每个新数据集手动标注足够的训练数据通常是难以实现的或不可能收集到的。无监督域适应（Unsupervised Domain Adaptation，UDA）旨在通过将深度网络从一个有足够标注训练数据的源域迁移到只有未标注数据的目标域，从而解决这个问题。

无监督域适应（UDA）的主要技术难点在于如何解决域偏移，并正式减少不同域之间的分布差异。虽然已经研究了各种分布差异测量方法来估计和减少域差异，但这些方法仅关注对齐高层次的表示，例如全连接（FC）层的特征，而没有利用复杂的多模态结构和局部几何空间结构。

我们认为，要解决无监督域适应（UDA）问题，仅仅匹配全局特征分布是远远不够的，原因如下：

1. 数据分布通常包含复杂的多模态结构：这些结构可能反映了监督学习中的类别边界或无监督学习中的聚类边界。仅仅匹配边缘分布而不利用多模态结构，可能会导致负迁移，特别是当不同域之间的分布模式错误对齐时。没有任何保证不同域中具有相同类别标签的样本会在特征空间中被映射到相近的位置。因此，类别之间的判别结构可能会混淆，从而导致目标域的性能较差。

2. 仅匹配全局特征忽略了局部几何空间结构：域差异可能从早期的卷积层开始出现，这使得仅在网络末端进行调整效果不佳。此外，缺乏不同区域的局部特征，对细粒度特征对齐构成了重大障碍。

对上述两个问题的直观解决方案是通过在不同的表示层次上，包括局部表示、全局表示和分类器预测