重构广义应用数学：人工智能，数学发展的重大机遇

2020 北京智源大会

本文属于2020北京智源大会嘉宾演讲的整理报道系列。北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动，以国际性、权威性、专业性和前瞻性的“内行AI大会”为宗旨。2020年6月21日-24日，为期四天的2020北京智源大会在线上圆满举办。来自20多个国家和地区的150多位演讲嘉宾，和来自50多个国家、超过50万名国内外专业观众共襄盛会。

在人工智能发展的今天，数学家被赋予了新的使命。

 

作为自然科学的基石，在任何一门科学发展成熟的时候，对其进行抽象、定义以及严格证明，都是数学发挥功力的时刻。人工智能进入以深度学习为代表的第三波爆发期后，迄今为止，大多数工作都还主要是凭借计算机科学家们的经验、灵感，以工程的思维来推动。近几年来有不少数学家已经开始认识到，对人工智能数理基础的研究或许将带来数学的又一春天。传统的数学（特别是统计）主要是从线性模型做起，直接分析优化，不用考虑学习；而深度学习在数学上本质上则是非凸的，学习策略影响学习结果。如何刻画这种学习？如何为以深度学习为代表的机器学习技术建立坚实的数理基础？对深度学习的研究，让原来局限在一个小圈子里的数学家们也有了很多机会，与计算机学家、人工智能学家、物理学家、脑科学家、计算神经科学家等坐在一起，共商人工智能的科学之本。与人工智能的交叉，将给数学界带来新的灵感。

 

当前，已经有不少数学家开始研究机器学习问题，例如 GAN的数学描述即优化问题，双下降问题，极大极小优化问题，因果推断等。这些研究已取得或大或小的进展，但，正如智源研究院数理基础方向首席科学家、中国科学院院士、北京大学教授张平文所言：“人工智能的数理基础，还不是一个成熟的、被明确定义的领域，人工智能数理基础研究的领导者还没有产生；正是因为这样，广大的青年学者现在还有很大的机会。”

 

正是基于此种考虑，北京智源人工智能研究院在2019年初，首次建立了「人工智能的数理基础」这一重大研究方向，将相关的研究者汇聚在一起，共同推动这一领域的发展。

在 6 月21-24 日举办的智源大会上，由担任「智源研究院数理基础方向首席科学家」职位的张平文院士主持召开了“人工智能的数理基础专题论坛”。在论坛上，首先由 4 位国内外数理基础研究学者分享了他们在GAN、双下降、极大极小优化、因果推理等方面的研究成果；随后，8 位数学家共同回顾并探讨了人工智能基础理论在近几年取得的重要进展、当前最核心的挑战以及未来潜在的新思路和方向。

主席：张平文

时间：2020年6月21日

报告嘉宾：孙若愚，Johannes Schmidt-Hieber，戴彧虹，林伟

参与讨论嘉宾：张平文，张志华，史作强，董彬，朱占星，朱宏图，季春霖，邓柯

整理：智源社区 贾伟，范歆琦， 肖辉， 吴继芳

审核：戴彧虹，孙若愚， 夏壁灿， 朱占星，史作强，张志华，  张平文，董彬，李铁军，林伟

 

一、演讲核心要点概述

 

1、两行代码，改变 GAN 的全局优化

演讲嘉宾：孙若愚，University of Illinois Urbana-Champaign 

主题：Towards Better Global Landscape of GAN: How Two Lines of Code Change Makes a Difference

生成对抗网络（Generative Adversarial Network, GAN）自2014年由Ian Goodfellow 等人提出，如今已经六年。尽管已经得到大量的关注和应用，但很遗憾，人们对GAN的认识还相当有限。其中一个挑战是便是：GAN 优化是一个非凸非凹的极小极大问题，这使得理论分析非常困难。数学优化的理论分析一般分为几个步骤（如下图所示）：局部最优好不好，算法是否收敛到局部最优，收敛速度多快。他们的目标是从最基础的步骤开始分析GAN：是否真的存在坏的局部最优？如果存在，能否修改？

 

简单来说，GAN 是一种生成模型，它能够根据已有的数据样本（比如1000张人脸图片）来产生新的数据（比如全新的人脸图片）。它由一个生成器网络和一个判别器网络组成。生成器网络 G 直接生成样本，其对手判别器网络 D 试图区分从训练抽取的样本和从生成器抽取的样本，最终当判别器无法分辨它们的时候，便达到了生成器和判别器的均衡。GAN的模型一般写成一个最大最小优化问题，原始的GAN模型叫做JS-GAN：

 

Goodfellow等人的原始文章证明了 是一个凸函数。但是这个证明并没有利用GAN的结构，因为任何一个概率密度函数（probabilistic density function）的线性函数都是凸函数。

孙若愚和合作者 (Tiantian Fang, Alex Schwing) 考虑了GAN的经验损失目标函数（而不是传统的概率密度的函数），并证明了JS-GAN 会存在许多坏的局部严格最优点 (Sub-Optimal Strict Local-Min)，并由此会导致模式坍塌 (Mode Collapse)。为了帮助读者直观的理解这个结论，他们考虑了一个简单的两点分布。如下图所示，x 是真实数据，y 是生成的数据，红线表示判别器。刚开始，判别器能够很轻松的分别 x 和 y 。然后，y 会向右移动，直到判别器不能够区分他们。但是，这种使用了 JS 作为优化目标的GAN，会使得生成的点集中在第一个 x 点附近，这就是模式坍塌。

 

为了修补JS-GAN的缺陷，孙若愚和合作者分析了R-GAN（Relativistic GAN）,该模型能够耦合生成样本和真实样本。R-GAN的优化模型可以写成： 

其中一个特例是h为Logistic函数，这个模型叫做RS-GAN (relativistic standard GAN)。他们严格证明了R-GAN的损失函数满足全局最小可达（Global Min Reachable, GMR）的性质：从任意点到全局最小点存在一条非增的连续路径。这个性质说明R-GAN不存在坏的局部严格最优点。这个定理只需要对h有一些简单的要求 (最大值是0, 凹函数), 其中RS-GAN也满足这个定理的条件。

他们也将landscape进行可视化，来说明RS-GAN的平滑性。可以看到JS-GAN会有一个严格局部最优点（一个山谷），这个点对应于模式坍塌（见最右的图示例），但RS-GAN没有山谷，只有一个严格局部最优点。