GAN
Our task in Training Generative Models
生成模型G
生成模型G:
-
generate fake samples indistinguishable from real samples
不断学习训练集中真实数据的概率分布,目标是将输入的随机噪声转化为可以以假乱真的图片(生成的图片与训练集中的图片越相似越好)
-
A generator 𝐺that induces distribution as close to the true data distribution as possible – this is the generator
发电机𝐺诱导分布尽可能靠近真实的数据分布 - 这是生成器
判别模型D
判别模型D:
discriminate real and fake samples
判断一个图片是否是真实的图片,目标是将生成模型G产生的“假”图片与训练集中的“真”图片分辨开。
A generator 𝐺that induces distribution as close to the true data distribution as possible – this is the generator
发电机𝐺诱导分布尽可能靠近真实的数据分布 - 这是生成器
GAN
注意:
Output from GAN is the generator 𝐺, not an explicit density
GAN的输出是发电机𝐺,而不是显式密度
optimal discriminator(最优判别器)
optimal generator(最优生成器)- 生成的样本跟真正的样本同分布
Mode collapse
min-max problem
最大化判断正确的概率max(D(x)), 最小化犯错的概率min(1-D(G(z))),G(z)为生成样本为真的概率
纳什均衡点 (Nash equilibrium point)
纳什均衡点 (Nash equilibrium point):满足minmax目标函数的最优点
自编码器和GAN的区别
VAE(Variational Auto-Encoder)和GAN(Ganerative Adversarial Networks)都是生成模型(Generative model)
自编码器和GAN的区别
-
GAN生成的效果要优于VAE
-
GAN比VAE要难于训练
-
VAE希望通过一种显式(explicit)的方法找到一个概率密度,并通过最小化对数似函数的下限来得到最优解.
GAN则是对抗的方式来寻找一种平衡,不需要认为给定一个显式的概率密度函数
-
AutoEncoder直接对真实图片和生成图片进行像素级别的监督
GAN通过学习一个判别器来让真实图片和生成图片的整体判断趋于一致
-
VAE生成的图像不够真实,GAN的训练中又会碰到例如mode collapse问题
相同点:
- 生成数据的模式都是用了随机噪声(如常用的就是高斯分布)。
- 在建模分布时,都需要度量噪声和训练数据的分布差异。