最优传输-熵正则化（第八篇）

最优传输系列是基于Computational Optimal Transport开源书的读书笔记

最优传输的熵正则化

在大型数据集上进行最优传输时 ，时间复杂度是个非常重要的因素。
不过，在大部分应用情况下，求标准Kantorovich解是不必要的：如果我们利用正则化，改求近似解，那么最优传输的计算代价就大幅降低了。

使用正则化的最优传输问题用一系列矩阵乘法即可求解–这意味着最优传输可以充分享受GPU的矩阵加速效果，实用价值明显提升。

同时，正则化后的最优传输距离对输入的概率分布是完全连续的，并且能够系统式求导，在WGAN等方向上这点卓有成效。

在这章里，我们正式介绍熵正则化之后，继续探索最优传输的主力算法–Sinkhorn algorithm，从第三章的理论基础出发，向最优传输的实际应用前进。

4.1 正则化–定义

H ( P ) = d e f . − ∑ i , j P i , j ( log ⁡ ( P i , j ) − 1 ) \mathbf{H}(\mathbf{P}) \stackrel{\mathrm{def.}}{=}-\sum_{i, j} \mathbf{P}_{i, j}\left(\log \left(\mathbf{P}_{i, j}\right)-1\right) H(P)=def.−∑i,j​P