GAN（1）

1.概况

  Gan主要包含两个部分，一部分是生成器generator一部分是判别器discriminator。生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以骗过判别器。判别器则是对接收的图片进行真假判别。整个的过程就是生成器生成的图片越来越真实，判别器判别真实图片的性能更加准确，随着时间的推移，两个模型达到一种平衡。生成器生成的图片接近于真实图片，判别器识别不出来真假图片，对给定的图像的预测为真的概率接近0.5.

我们可以将上面的内容进行一个总结。给定真 = 1，假 = 0，那么有：

对于给定的真实图片（real image），判别器要为其打上标签 1；

对于给定的生成图片（fake image），判别器要为其打上标签 0；

对于生成器传给辨别器的生成图片，生成器希望辨别器打上标签 1。

2. GAN的特点：

●  相比较传统的模型，他存在两个不同的网络，而不是单一的网络，并且训练方式采用的是对抗训练方式

●  GAN中G的梯度更新信息来自判别器D，而不是来自数据样本

3.GAN优点

●  GAN是一种生成式模型，相比较其他生成模型（玻尔兹曼机和GSNs）只用到了反向传播,而不需要复杂的马尔科夫链

●  相比其他所有模型, GAN可以产生更加清晰，真实的样本

●  GAN采用的是一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域

●  相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),变分方法引入决定性偏置,因为他们优化对数似然的下界,而不是似然度本身,这看起来导致了VAEs生成的实例比GANs更模糊

●  相比VAE, GANs没有变分下界,如果鉴别器训练良好,那么生成器可以完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,但是VAE是有偏差的

●  GAN应用到一些场景上，比如图片风格迁移，超分辨率，图像补全，去噪，避免了损失函数设计的困难，不管三七二十一，只要有一个的基准，直接上判别器，剩下的就交给对抗训练了。

4.GAN缺点

●  训练GAN需要达到纳什均衡,有时候可以用梯度下降法做到,有时候做不到.我们还没有找到很好的达到纳什均衡的方法,所以训练GAN相比VAE或者PixelRNN是不稳定的,但我认为在实践中它还是比训练玻尔兹曼机稳定的多

●  GAN不适合处理离散形式的数据，比如文本

●  GAN存在训练不稳定、梯度消失、模式崩溃的问题

5.原理

gan网络流程图

损失函实际上是一个交叉熵，判别器的目的是尽可能的令D(x)接近1，令D(G(z))接近0，所以D主要是最大化上面的损失函数，G恰恰相反，他主要是最小化上述损失函数。

训练过程：

求平衡点之前，我们先做一个数学假设，即G固定情况下D的最优形式，然后根据D的最优形式再去观察G最小化损失函数的问题。

假设在G固定的条件下，并将损失函数化为如下简单形式：

D的目标就是最大化L，我们可以通过对L求导，并令导数为0，计算出L取最大值时y的取值如下：

所以，换为原来的式子D的最优解形式为：

到这里我们得出了结论，当G固定时，D的最优形式是上面形式。

接下来我们求一下D最优时，G最小化损失函数到什么形式才能达到二者相互博弈的平衡点。

带入到损失函数里面后，损失函数可以写为如下形式：

这时观察到，上面式子仍然是一个交叉熵也称KL散度的形式，KL散度通常用来衡量分布之间的距离，它是非对称的。同样还有另一个衡量数据分布距离的散度--JS散度，他们之间有如下关系。

不过JS散度有一个很重要的性质就是总是大于等于0的，当且仅当 P1=P2上面的式子取得最小值0，

所以我们可以将C(G)写成JS散度的形式：

也即是当且仅当Pg=Pdata时，C(G)取得最小值-log(4)，也即是D最优时，G能将损失函数最小化到-log(4)，最小点处Pg=Pdata。即真实数据的分布和生成数据的分布相等。

分析到这里，直观上也很好理解了，Pg=Pdata意味着此时D恰好等于0.5，就是D有一半的概率认为D(G(z))是真的数据，有一半概率认为是假的数据，这不就和猜硬币正反面一样嘛。也说明了此时G生成的数据足以以假乱真。