学习笔记GAN003:GAN、DCGAN、CGAN、InfoGAN

​GAN应用集中在图像生成，NLP、Robt Learning也有拓展。类似于NLP中的Actor-Critic。 https://arxiv.org/pdf/1610.01945.pdf 。

Generative Adversarial Nets。构建两个网络，一个G生成网络，一个D区分网络。训练，G网络loss log(1-D(G(z)))，D网络loss -(log(D(x))+log(1-D(G(z)))，不是Cross Entropy。数据输入，G网络输入noise。D输入混合G输出数据及样本数据。

G网络训练，D(G(z))趋近于1,G loss最小。D网络训练 2分类，分清真实数据和生成数据，真实数据D输出趋近1,生成数据输出D(G(z))趋近0。

目标，生成数据分布和实际分布相同。D开始训练，分类能力有限，有波动，初步区分实际数据和生成数据。D训练较好，明显区分生成数据，生成数据概率下降。G网络提升，影响D分布。G网络不动，训练D，训练最优，Dg*(x)=pdata(x)/(pdata(x)+pg(x)) 。pg(x)趋近pdata(x),Dg*(x)趋近0.5,G网络、D网络处于平衡状态。网络训练最终收敛到pg(x)=pdata(x)。

G、D同步训练，G训练一次，D训练k次。D训练同量输入生成数据和样本数据计算loss(不是cross entropy分开计算)。cross entropy使D(G(z))为0,导致没有梯度，无法更新G。GAN D(G(z))最终收敛到0.5。G网络用RELU、sigmoid，D网络用Maxout和dropout。-log(D(G(z)))代替log(1-D