week8 GAN

GAN

Our task in Training Generative Models

生成模型G

生成模型G：

• generate fake samples indistinguishable from real samples

  不断学习训练集中真实数据的概率分布，目标是将输入的随机噪声转化为可以以假乱真的图片（生成的图片与训练集中的图片越相似越好）

• A generator 𝐺that induces distribution as close to the true data distribution as possible – this is the generator

  发电机𝐺诱导分布尽可能靠近真实的数据分布 - 这是生成器

判别模型D

判别模型D：

discriminate real and fake samples

判断一个图片是否是真实的图片，目标是将生成模型G产生的“假”图片与训练集中的“真”图片分辨开。

A generator 𝐺that induces distribution as close to the true data distribution as possible – this is the generator

发电机𝐺诱导分布尽可能靠近真实的数据分布 - 这是生成器

GAN

注意：

Output from GAN is the generator 𝐺, not an explicit density

GAN的输出是发电机𝐺，而不是显式密度

optimal discriminator（最优判别器）

optimal generator（最优生成器）- 生成的样本跟真正的样本同分布

Mode collapse

min-max problem

最大化判断正确的概率max(D(x)), 最小化犯错的概率min(1-D(G(z))),G(z)为生成样本为真的概率

纳什均衡点 （Nash equilibrium point）

纳什均衡点 （Nash equilibrium point）：满足minmax目标函数的最优点

自编码器和GAN的区别

VAE（Variational Auto-Encoder）和GAN（Ganerative Adversarial Networks）都是生成模型（Generative model）

自编码器和GAN的区别

1. GAN生成的效果要优于VAE

2. GAN比VAE要难于训练

3. VAE希望通过一种显式(explicit)的方法找到一个概率密度，并通过最小化对数似函数的下限来得到最优解.

   GAN则是对抗的方式来寻找一种平衡，不需要认为给定一个显式的概率密度函数

4. AutoEncoder直接对真实图片和生成图片进行像素级别的监督

   GAN通过学习一个判别器来让真实图片和生成图片的整体判断趋于一致

5. VAE生成的图像不够真实，GAN的训练中又会碰到例如mode collapse问题

相同点：

• 生成数据的模式都是用了随机噪声（如常用的就是高斯分布）。
• 在建模分布时，都需要度量噪声和训练数据的分布差异。