【最优传输论文十六】（2022 AAAI）Hierarchical Optimal Transport for Unsupervised Domain Adaptation

1. motivation

大多数最优传输方法的共同点是它们能够通过依赖反映输入空间度量的成本函数来捕获数据的底层几何结构。然而，这些最优传输方法可以受益于不依赖于这些基本的几何信息，例如，由源中的类标签引起的局部一致性结构。然而一些方法在域自适应中的应用仅考虑了标记源域中的可用结构，通过按类标签对样本进行划分，而每个目标样本形成自己的聚类。

在本文中，作者通过提出一种基于分层最优传输的全新方法来解决上述目标结构不可知算法的现有局限性。所提出的方法HOT-DA是基于最优运输的分层公式，它利用了地面度量捕获的几何信息之外的更丰富的源和目标域的结构信息。标记源域中的附加信息是通过根据样本的类标签将样本分组到结构中来本能地形成的。而在未标记的目标域中探索隐藏结构则被简化为通过Wasserstein质心学习概率测度的问题，我们证明了它等价于谱聚类。

图1说明了这种范式与领域适应的相关性，其中我们表明，结构不可知的reg - ot和目标结构不可知的OT-GL算法不能总是限制不同结构实例之间的质量传输，而我们的领域适应的分层最优传输(HOT-DA)模型通过同时利用源和目标领域结构来正确地做到这一点。

无监督域自适应算法的目的是推断出具有低目标风险的分类器η: X→Y:

2. Optimal Transport 

找到一个可测量的传输映射T:X→Y将由概率测度µ表示的质量运输到ν表示的质量，同时使运输的总成本最小化：

这个宽松的公式，被称为蒙日-坎托洛维奇问题(MK)，允许质量分裂，与蒙日的公式相反，它保证了在非常一般的假设下解的存在：

当X = Y是距离为d的度量空间时，自然的选择是将其作为代价函数，问题(MK)在X上的概率测度之间引入一个度量，称为P - wasserstein距离，定义如下:∀µ，ν∈P(X): 

在最优输运的离散版本中，最优运输问题变成一个线性规划，因此，求解这个线性规划就是找到一个计划γ *，它实现:

 p-Wasserstein距离定义为:。

相对而言，N个测度{ν1，…vn}的Wasserstein重心在P(X)中可以定义为以下函数f 的最小值:

其中λi是正实数使得。 

如上所述，离散最优运输是一个线性规划，因此可以用单纯形算法或内点法在O(r3log(r))内精确求解，其中r = max(n, m)，这是一个沉重的计算代价。熵正则化已经成为解决最优运输计算负担的一种方法。熵正则离散最优运输问题定义如下:

其中是γ的熵。

分层最优传输将结构信息直接引入传输过程。设X是具有距离d的波兰度量空间，根据公式(3)P(X)是X上具有Wasserstein距离Wp的Borel概率测度空间。由于X是波兰度量空间，则P(X)也是波兰度量空间。

通过概念的递归，上的Borel概率测度的空间是一个波兰度量空间，并且还将配备一个Wasserstein度量，这次由Wasserstein距离Wp引起，它充当P(X)上的基础度量。更正式地说，令，且是P(X)上的两组概率测度，即