生成对抗网络（GAN）及pytorch小例子

GAN是一种生成模型，包含两个部分，生成器G（Generator）和鉴别器D（Discriminator）。生成器用来产生虚假数据，鉴别器是用来判断该数据是否真实（输出是0到1之间的数字，值越大表示越接近真实数据）。生成器试图用虚假数据骗过鉴别器，而鉴别器又不断提高自己判别真假的能力。这是一个相互博弈的过程。经过多轮训练后，生成器产生的数据会越来越接近真实数据，这就是我们想要的结果了。
生成器和鉴别器都是神经网络。鉴别器用来判断输入数据是否为真，是一个二分类器，最后接sigmoid函数，输出0到1之间的值，用D(x)表示。假如标签用y表示（1表示为真，0表示为假）。则鉴别器的交叉熵损失函数为：
min ⁡ D { − y log ⁡ D ( x ) − ( 1 − y ) log ⁡ ( 1 − D ( x ) ) } \min_D \{ - y \log D(\mathbf x) - (1-y)\log(1-D(\mathbf x)) \} Dmin​{ −ylogD(x)−(1−y)log(1−D(x))}
对于生成器来说，首先我们要随机产生一些参数z输入到生成器得到G(z)。我们的目标是是鉴别器将其识别为真实数据，即D(G(z))≈1。换句话说，当y=0时，我们要最大化交叉熵损失函数：
max ⁡ G { − ( 1 − y ) log ⁡ ( 1 − D ( G ( z ) ) ) } = max ⁡ G { − log ⁡ ( 1 − D ( G ( z ) ) ) } . \max_G \{ - (1-y) \log(1-D(G(\mathbf z))) \} = \max_G \{ - \log(1-D(G(\mathbf z))) \}. Gmax​{ −(1−y)log(1−D(G(z)))}=Gmax​{ −log(1−