生成对抗网络的发展与应用

一、生成对抗网络的提出

Generative Adversarial Nets

Ian J. Goodfellow等人于2014年提出生成对抗网络（GAN），生成对抗网络是一种无监督的深度学习模型，通过框架内的生成器（Generative Model）和判别器（Discriminator Model）的相互博弈产生相当好的输出。在博弈过程中，生成器根据某个随机噪声 $z$ 产生一个近似真实数据的生成数据，判别器再对真实数据和生成数据进行判别。在优化过程中，生成器要求自己生成的数据能够“欺骗”判别器，而判别器要求自己能够准确识别真实数据和生成数据。生成器和判别器的优化目标如下：

${\mathcal{L}}_{GAN}=V(D,G)={\mathbb{E}}_{x\sim p_{data}(x)}[log(D(x))]+{\mathbb{E}}_{z\sim p_z(z)}[log(1-D(G(z)))]$

上式中的 ${\mathcal{L}}_{GAN}$ 中包含了两个损失函数：${\mathbb{E}}_{x\sim p_{data}(x)}[log(D(x))]$ 用于判别器， ${\mathbb{E}}_{z\sim p_z(z)}[log(1-D(G(z)))]$ 用于生成器，训练中也有两个优化器分别对应了不同的网络；

生成对抗网络的架构图如下：

二、生成对抗网络的发展

Conditional Generative Adversarial Nets

尽管 GAN 借助了生成器和判别器之间的博弈达到了一个良好的效果，但是它的输入是随机噪声 $z$，输出则是与该噪声有关的随机数据，为了使得该 GAN 的生成过程可控，M. Mirza 等人在2014提出了 Conditional GAN（CGAN），在生成器和判别器上都加入了标签数据，那么我们就可以通过标签数据来保证输出的图像的标签，优化目标如下：

${\mathcal{L}}_{CGAN}={\mathbb{E}}_{x\sim p_{data}(x)}[log(D(x|c))]+{\mathbb{E}}_{z\sim p_z(z)}[log(1-D(G(z|c)))]$

可以看到判别器还是生成器的概率表达公式都变为了条件概率，对于不同的标签 $c$，得到的优化目标也不完全相同，从而保证了我们能够通过更改 $c$ 的值来控制输出图像的标签；

CGAN 的架构图如下：

三、生成对抗网络的应用

Generative Adversarial Text to Image Synthesis

Scott Reed 等人在2016年提出了一种 GAN 网络，可以实现文本生成图像，具体效果如下：

实现文本生成图像的 GAN 网络的架构如下：

类似于 CGAN，在文本生成图像的 GAN 网络中，在生成器和判别器上都加入了文本信息作为标签数据，文本的 embedding 通过编码器 $\phi$ 得到，判别器的优化目标为：

${\mathbb{E}}_{t_{}}$