深度学习之GAN生成对抗网络

前言

近年来，基于数据而习得“特征”的深度学习技术受到狂热追捧，而其中GAN模型训练方法更加具有激进意味：它生成数据本身。
　　GAN是“生成对抗网络”（Generative Adversarial Networks）的简称，由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yann LeCun曾评价GAN是“20年来机器学习领域最酷的想法”。
　　在GAN这片新兴沃土，除了Ian Goodfellow所在的OpenAI在火力全开，Facebook的人工智能实验室也在这一领域马不停蹄深耕，而苹果近日曝出的首篇AI论文，就是基于GANs的变种“SimGAN”。从学术界到工业界，GANs席卷而来。
　　GANs是深度学习领域比较重要的一个模型，也是人工智能研究的一个重要工具。我们现在所追求的人工智能，一个很重要的特性就是能够像我们人类一样，理解周围复杂的世界。包括识别和理解现实中的三维世界，人类、动物和各种工具。这样才能在对现实世界理解的基础上，进行推理和创造。而正像著名物理学家，理查德•费曼说的一样，如果要真正理解一个东西，我们必须要能够把它创造出来。

正是基于这样的想法，机器学习以及人工智能的研究者们提出了概率生成模型，致力于用概率和统计的语言，描述周围的世界。

1. 作为一种概率生成模型：GAN

简单说， 概率生成模型的目的，就是找出给定观测数据内部的统计规律，并且能够基于所得到的概率分布模型，产生全新的，与观测数据类似的数据。

举个例子，概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后，生成模型可以自动学习到其内部分布，能够解释给定的训练图片，并同时生成新的图片。与庞大的真实数据相比，概率生成模型的参数个数要远远小于数据的数量。因此，在训练过程中，生成模型会被强迫去发现数据背后更为简单的统计规律，从而能够生成这些数据。

现在比较流行的生成模型，其实可以分为三类：

1. 生成对抗网络（GAN）。这个是我们今天要重点介绍的内容。
2. 变分自动编码模型（VAE）。它依靠的是传统的概率图模型的框架，通过一些适当的联合分布的概率逼近，简化整个学习过程，使得所学习到的模型能够很好地解释所观测到的数据。
3. 自回归模型（Auto-regressive）。在这种模型里，我们简单地认为，每个变量只依赖于它的分布，只依赖于它在某种意义上的近邻。例如将自回归模型用在图像的生成上。那么像素的取值只依赖于它在空间上的某种近邻。现在比较流行的自回归模型，包括最近刚刚提出的像素CNN或者像素RNN，它们可以用于图像或者视频的生成。

2. GAN热度从学术界蔓延至工业界

这三种生成模型都有各自的优缺点，然后也在不同的领域上得到广泛的关注。而今天我们要介绍的GAN实际上是一种比较年轻的方法。两年半之前， Ian Goodfellow的一篇论文首次将其引入，虽然时间很短，但我们看Google的搜索热度和Google学术上论文引用的次数，它一直受到学术界广泛的关注，而且热度一直快速增长。除了学术界，GAN还受到工业界的广泛关注。有许多做人工智能研究的公司正在投入大量的精力来发展和推广GAN模型。其中包括 Ian Goodfellow 如今所在的 OpenAI 公司。这个公司一直在致力于研究推广GAN，并将其应用在不同的任务上。同时 Facebook 和 Twitter 最近两年也投入了大量的精力来研究，并将GAN应用在了图像生成和视频生成上。尤其值得一提的是，Apple最近发表了其关于人工智能研究的首篇论文，恰恰是应用GAN来做数据的生成，帮助更好地训练机器学习模型。

那么，GAN为什么会受到这样广泛的关注呢？Goodfellow在他的论文中，给出了一