猪肉酱的学习笔记(1) —— 生成对抗网络 (Generative Adversarial Network, GAN)

GAN (Generative Adversarial Network)

讲解视频（同济子豪兄）：生成对抗网络GAN开山之作论文精读（同济子豪兄）

生成对抗网络分为生成器(Generator) 和判别器 (Discriminator)

生成器：使得判别器尽可能地犯错，重现原始数据的数据分布

判别器：尽可能地识别出真数据和假数据

输入：噪声的随机数（可以设定分布如均匀分布/高斯分布）

之前大部分神经网络是判别式模型，拟合条件类型概率p(y|x)；而生成式模型拟合联合分布概率p(x,y)。之前的深度生成模型通过计算最大化的对数似然概率。而GAN通过直接生成分布的方式。

上述目标函数无法得到数值解，因此是一个优化问题。每训练k次判别器，训练一次生成。

从a到d，判别器越来越无法区分这两个分布。真实数据是分布黑色点线，生成器图像分布是绿线。只要模型容量足够，最终达到纳什均衡，也就是全局最优解的情况，即生成器的分布等于数据原始的分布，D(x) = 0.5。每次采样m个噪声，生成m个假图像，然后选取m个真图像进行二分类。判别器梯度下降方向：最大可能地使得判别器被误判。