GAN:生成对抗网络,架构采用了一个生成模型和一个判别模型,生成模型的输入是一个100维的均值为0方差为1的高斯分布,通过多层感知机来学习一个映射参数来拟合原输入x,判别模型的输入是x和生成模型的输出(标签分别是1和0)。
目标函数为
其中判别模型需要最大化这个函数,生成模型要最小化右边的式子。
具体过程:
每次从z中采样m个噪声样本,从x中采样m个真实样本作为小批量来更新判别器的参数,再用m个噪音样本来更新生成器参数,判别器的性能不宜过强与过弱,否则会影响生成器的更新动力。
目标函数的正确性(理论):
判别器的最优解是可以得到上述解。
原理如下
把D的最优解代入原目标函数后
而根据KL散度/香农散度可知,当且仅当pdatax = pgx(分布=分布)时,V(G,D)取到最大值。