【最优传输论文七】2020CVPR - Enhanced Transport Distance for Unsupervised Domain Adaptation

摘要

从分布匹配的角度出发，将最优传输模型应用于UDA。然而，传输距离不能反映领域知识或类别先验的判别信息。在这项工作中，文中提出了一个增强的UDA传输距离(ETD)。该方法建立了一个注意力感知的传输距离，该传输距离可以看作是迭代学习分类器的预测反馈，用于测量域差异。在此基础上，利用深度神经网络对Kantorovich potential变量进行参数化，学习其在潜在空间中的分布。为了探索目标域的内在结构，提出了基于熵的正则化方法。提出的方法以端到端交替优化。在四个基准数据集上进行了大量的实验，以证明ETD的SOTA性能。

介绍

现有的基于OT距离的域自适应方法主要受到两个瓶颈的制约。

（1）首先，基于传输距离的深度自适应方法是基于欧几里得度量和小批量训练方式的。由于小批量内的采样实例不能完全反映真实分布，因此得到的运输距离缺乏判别性，估计的运输计划有偏差。

（2）其次，一些OT方法忽略了目标域的标签信息和潜在结构

为了解决上述瓶颈问题，本文提出了一种增强传输距离(ETD)模型来解决UDA中的分类问题。模型的基本结构由特征提取网络、分类网络和运输计划优化三部分组成。第三部分特别强调了我们的新颖性。本文的主要贡献总结如下:

• 为了充分利用分类网络基于类别的输出，利用注意机制来估计样本之间的相似性，并用注意分数来衡量传输距离cost函数。期望加权距离能够很好地学习判别特征。区别于Curty的类正则
• 采用三层全连通网络对Kantorovich potential进行重新参数化，取代了传统半对偶优化问题中的矢量对偶变量（即对偶变量用向量表示）
• 利用目标域上的熵准则来探索目标分布的内在结构。提高了学习到的分类器的可移植性。整个模型以端到端的方式进行训练。

OT简要回顾

OT距离最初被公式化为Monge问题。考虑分别从空间X和Z采样的两个随机变量X～µ和Z～v，以及损失函数

OT的目标是找到两个度量空间之间的映射，使得两个概率测度之间的传输成本最小。 

Kantorovich通过将Monge问题转化为耦合（X，Z）～π的最小化，而不是映射集，从而放松了Monge问题，