【最优传输论文二十一】2022On Transportation of Mini-batches: A Hierarchical Approach

摘要

小批量最优运输(m-OT)解决几个较小的最优运输问题，然后返回它们的成本和传输计划的平均值。尽管具有可伸缩性优势，但mOT没有考虑小批之间的关系，这会导致不希望的估计。此外，由于单位性质不满足，m-OT不能在概率测度之间近似一个适当的度量。为了解决这些问题，本文提出了一种新的小批量最优传输方案，称为小批量的批量最优运输BoMb-OT，该方案找到了小批量之间的最优耦合，并且可以将其视为概率度量空间上定义良好的距离的近似值。进一步证明了当正则化参数趋于无穷时，m-OT是BoMb-OT的熵正则化版本的极限。最后，对深度生成模型、深度域自适应、近似贝叶斯计算、颜色转移和梯度流等多种应用进行了实验，表明BoMb-OT在各种应用中具有广泛的应用前景和良好的性能。

1. introduce

小批量方法的主要思想是将原始样本分成多个子集(小批量)，希望每一对子集(小批量)都能捕获两个概率测度的一些结构，同时，由于小批量的规模很小，计算两个小批量之间的OT成本很便宜。然后将总损失定义为小批量对之间距离的平均值。该方案适用于多种形式的Wasserstein距离。首先，m-OT损失被证明是不保持度量性的差异(种群m-OT)的近似值，即，即使两个概率度量相同，该差异也总是正的。其次，当两个概率度量相同时，这种差异是否达到最小值也不清楚。这自然提出了一个问题，即我们是否可以提出一个更好的小批量方案来解决这些问题，以提高OT在应用程序中的性能。

贡献:在本文中，提出了一种新的小批量最优运输方案，它被命名为小批量的批量最优运输(BoMb-OT)。特别是，BoMb-OT将每个小批量视为产品空间中的一个点，那么一组小批量可以被视为经验度量。我们现在可以在产品空间中使用这两个经验措施之间的坎托洛维奇公式作为两组小批量之间的差异。总之，我们的主要贡献有三点:

1. 首先，BoMb-OT可以提供比m-OT更类似于原始OT的运输计划，这导致使用小批量时更有意义的差异。特别地，本文证明了BoMb-OT在概率测度空间上近似于一个定义良好的度量，称为种群BoMb-OT。此外，种群BoMb-OT的熵正则化版本可以作为种群m-OT的广义版本。具体来说，当熵种群BoMb-OT中的正则化参数趋于无穷时，其值趋近于种群m-OT的值。

2. 其次，在附录c中介绍了BoMb-OT的实现策略和各种应用中的详细算法。在使用最佳传输损失的两个主要应用中，即深度生成模型和深度域自适应，展示了BoMb-OT优于m-OT的良好性能。此外，还比较了BoMb-OT和m-OT在其他应用中的应用，如样本匹配、近似贝叶斯计算、颜色转移和梯度流。在所有应用中，还仔细研究了小批量方案的两个超参数，即小批量的数量和小批量的大小，对BoMb-OT和m-OT性能的影响。

3.第三，证明了BoMb-OT的思想，即分层方法可以应用于任何类型的小批量措施之间的运输。作为实例，将m-UOT 扩展到BoMb-UOT，提高了在许多标准数据集上深度域适应的目标域分类精度。

notation:对于波兰可测空间(X， Σ)上的任意概率测度µ，我们记⊗mµ(m≥2)为乘积可测空间上的乘积测度。对于任意p≥1，我们定义为在给定度量空间(RN, ||.||)上定义的具有有限p阶矩的Borel概率测度集合。为了简化表示，对随机向量(x1，…， xm)∈X m，集合{x1，…， xm}，用来定义与相关的经验测度(小批量测度)。对于任意集合Xn:= {x1，…， xn}且m≥1，则用表示取m次，是所有m元素子集的集合。 

2. Background on mini-batch optimal transport

2.1. Wasserstein distance and its variants

设µ和ν为上的两个概率测度。µ和ν之间的Wasserstein p-distance定义如下:

µ和ν之间的熵正则化Wasserstein近似OT解定义如下: