生成对抗网络（GAN）及pytorch小例子

GAN是一种生成模型，包含两个部分，生成器G（Generator）和鉴别器D（Discriminator）。生成器用来产生虚假数据，鉴别器是用来判断该数据是否真实（输出是0到1之间的数字，值越大表示越接近真实数据）。生成器试图用虚假数据骗过鉴别器，而鉴别器又不断提高自己判别真假的能力。这是一个相互博弈的过程。经过多轮训练后，生成器产生的数据会越来越接近真实数据，这就是我们想要的结果了。
生成器和鉴别器都是神经网络。鉴别器用来判断输入数据是否为真，是一个二分类器，最后接sigmoid函数，输出0到1之间的值，用D(x)表示。假如标签用y表示（1表示为真，0表示为假）。则鉴别器的交叉熵损失函数为：
min⁡D{ −ylog⁡D(x)−(1−y)log⁡(1−D(x))} \min_D \{ - y \log D(\mathbf x) - (1-y)\log(1-D(\mathbf x)) \} Dmin​{ −ylogD(x)−(1−y)log(1−D(x))}
对于生成器来说，首先我们要随机产生一些参数z输入到生成器得到G(z)。我们的目标是是鉴别器将其识别为真实数据，即D(G(z))≈1。换句话说，当y=0时，我们要最大化交叉熵损失函数：
max⁡G{ −(1−y)log⁡(1−D(G(z)))}=max⁡G{ −log⁡(1−D(G(z)))}. \max_G \{ - (1-y) \log(1-D(G(\mathbf z))) \} = \max_G \{ - \log(1-D(G(\mathbf z))) \}. Gmax​{ −(1−y)log(1−D(G(z)))}=Gmax​{ −log(1−D(G(z)))}.
如果鉴别器表现很好的话，D(G(z))≈0，那么损失函数相应也会很小，这样就不利于用梯度下降方法优化生成器。实际中，我们会最小化下面的交叉熵损失函数来代替：
min⁡G{ −ylog⁡(D(G(z)))}=min⁡G{ −log⁡(D(G(z)))}, \min_G \{ - y \log(D(G(\mathbf z))) \} = \min_G \{ - \log(D(G(\mathbf z)))\}, Gmin​{ −ylog(