最优传输理论与计算 ——雷娜 顾险峰 【新书发布】

缘起

1995年秋季,第二作者刚刚来到哈佛大学开始攻读计算机科学领域的博士学位,并在数学系学习丘成桐先生的微分拓扑课程,同时在麻省理工学院人工智能实验室学习Berthold Horn教授的机器人视觉课程. Horn教授提倡从物理的角度来理解视觉机理,用偏微分方程来解决工程问题.Horn教授讲解了他的经典工作“Shape from Shading”,将从二维图片重建三维几何的问题归结为求解双曲型偏微分方程. Horn教授也讲解了“Extended Gauss Image”的想法,目的是用Gauss曲率来重建凸曲面,这等价于微分几何中的Minkowski问题,归结为求解Monge-Ampère方程.但是,那时计算机视觉领域并没有严格高效的计算方法.当时,由于无法理解艰深的非线性偏微分方程理论,为了求解Minkowski问题,第二作者冒昧地向丘先生求教.丘先生非常平易近人,看到有人对Minkowski问题有兴趣,他非常兴奋,并且亲自复印了他与郑绍远教授的经典论文“On theRegularity of the Solution of then-Dimensional Minkowski Problem”.在文章中,丘先生与郑教授证明了任意维Minkowski问题解的存在性、唯一性和正则性.在丘先生的指导下,第二作者系统地学习了Alexandrov和Pogorelov的经典文章和著作.在随后的多次讨论中,丘先生传授了求解Monge-Ampère方程的算法. Monge-Ampère方程具有强烈的非线性,而那个时代,通用计算机的算力非常有限,每次实验运行时间都会长达数天,因此算法设计与实验颇具挑战性。

时代要求二十多年后,人工智能再度兴起,大数据、深度学习技术在工程领域取得了巨大成功,但是这些算法背后的理论解释依然处于初始状态.为新一代人工智能技术奠定理论基础,成为时代发展的迫切要求.在丘先生的带领下,作者团队用现代拓扑几何理论为深度学习提出了一个理论框架.在计算机视觉领域,每个概念对应一类自然的图像数据;每个图像被视为高维图像空间中的一个点;同类图像构成图像空间中的一个稠密点云,而此点云分布在某个低维数据流形附近.由此,此类数据被表示为数据流形上的概率分布.从而,我们得到深度学习的两个核心任务:学习数据流形的结构,学习流形上的概率分布.深度学习算法本质上是在数据流形上以所有概率测度构成的空间中进行优化.而最优传输映射为第二个核心任务(即学习概率分布)提供了坚实的理论基础和强大的计算工具.

正是因为深度学习和大数据的兴起,最优传输理论进入了计算机科学的中心舞台.交叉学科开始涌现,近似计算方法层出不穷.在各类方法中,最为直观、最为精确的算法却是来自最优传输的Brenier理论,而这一理论恰恰与Minkowski、Alexandrov和Pogorelov的凸微分几何理论等价,最后归结为求解Monge-Ampère方程.这令作者百感交集,感慨万千,对于丘先生的高瞻远瞩更是无比钦佩.每个年轻学者的终极梦想都是希望在刚入门时导师能够给出一套深刻直观的方法,同时指明一个有长远发展前景的方向.为此,作者深感幸运,对丘先生更是无比感激!

简明历史

2010年前后,丘先生与作者团队开始了最优传输几何化方向的研究,很快给出了Alexandrov定理的构造性证明,发展了几何变分算法,并且很快应用于可解释深度学习的研究.同时,我们在海内外的一些大学(包括纽约州立大学石溪分校、清华大学丘成桐数学科学中心、大连理工大学、首都师范大学)开设最优传输理论的课程,并在数十个国际会议、大学讨论班中