依随深度学习方法的深入发展,人们逐渐意识到最优传输理论所起到的奠基作用。深度学习可以抽象概括为学习流形上的概率分布,因此概率分布之间的变换和衡量概率测度之间的距离是深度学习最为核心的主题。而最优传输理论为解决这些问题提供了理论基础和计算工具。更进一步,最优传输理论为所有概率测度构成的空间定义了黎曼度量和协变微分,从而使得在所有测度构成的空间中进行变分优化成为可能。因此,我们可以预见在深度学习热潮渐落之后,最优传输理论经过大浪淘沙,会凝练成思想精华,全面渗透入工程领域。
但是,描述最优传输映射的偏微分方程具有强烈的非线性,因此精确计算最优传输一直具有挑战性。目前在工程领域,特别是在深度学习领域,人们都是将概率测度离散化,将Kantorovich能量加上熵正则项,得到光滑的近似,逼近误差用一个参数进行控制,例如常见的Sinkhorn算法,Nesterov近似等等。我们经过大量实验,发现这些算法有很多内在缺陷。如果我们希望精确计算连续分布之间的最优传输映射,这些算法需要对源区域和目标区域稠密采样,如此计算复杂度过高,无法用普通硬件实现。同时这些算法给出了近似解,如果我们希望通过减小控制参数来提高逼近精度,因为算法依赖超越运算(指数对数运算),算法稳定性迅速变差,无法收敛。如果我们细致地调节参数以保证算法的稳定性,这时得到的近似解与真解相距甚远。
我们一直希望能够对最优传输映射进行深入细致地理论研究,因此要求能够得到高精度的数值解,同时可以控制误差范围。Sinkhorn算法虽然火热,但是理论上无法真正满足需求。我们发现,目前几乎不存在高精度最优传输算法的软件工具。在基础和应用数学领域,虽然大家数十年如一日地研究蒙日-安培方程,但是并没有比较普及的计算工具;在计算机科学领域,绝大多数的算法都是基于Kantorovich的线性规划及其光滑近似(Sinkhorn)。这些方法空间复杂度很高,逼近误差较大,更为严重的是,这些方法破坏了最优传输问题本身的理论结构,摒弃了内在的几何特性。目前工程领域对于这些算法的热衷,很大程度上是用方便来取代有效,并且将最优传输视为一个成型的工具,而没有深入理解其内在的理论结构。
因此,在我们的课程上,我们着重讲解了最优传输问题的几何求解方法,这一方法与蒙日-安培方程的弱解理论相一致,与Minkowski和Alexandrov的凸几何理论相吻合,从几何角度来理解诠释最优传输理论,给人以强烈的几何直觉和深刻细致的洞察。关于最优传输映射,我们依然有太多的未知,我们希望几何方法提供的计算工具能够帮助大家更加深入地研究这一理论,对于蒙日-安培方程具有更加深刻的理解,从而进一步推动工程应用的发展。
理论回顾
给定欧氏空间的概率测度及其支集和,满足总测度相等,密度函数和,。一个映射是保持测度的,如果对一切,都有
记为。给定传输代价函数,蒙日问题是求解所有保测度映射中传输代价最小者,
如果传输代价是欧氏距离的平方,和紧致,为凸区域,那么Brenier定理断言存在一个凸函数,即所谓的Brenier势能函数,其梯度映射给出了最优传输映射,,并且这种最优传输映射是惟一的。Brenier势能函数满足蒙日-安培方程(Monge-Ampere)
并且满足边界条件。由此,求解最优传输映射等价于求解蒙日-安培方程。
我们在中离散采样,得到采样点集,用Dirac测度之和来逼近目标测度,由此来考虑半连续的最优传输问题。由Brenier定理&#