xinxiang7

众所周知，GAN异常强大，同时也非常难以训练。主要有以下亮点原因：模型坍塌(mode collapse)难以收敛和训练不稳定(convergence and instability)GAN网络的一般表达式可以表示为：利用minmax获得公式给定G，求D的最优化针对D进行求导：获取最优解：最优解结果：KL和JS散度表达式：GAN表达式：增加一项，表示生成网络G的损失函数：简化：结合公式(6)和公式(8)可以得出：公式(12)中的KL散度使得两个分布尽可能的小

Batch NormalizationWeight NormalizationSpectral Normalization

Generative Adversarial Nets(https://arxiv.org/pdf/1406.2661v1.pdf)是Ian大神在14年发明的新算法，后续很多算法都是在这个算法的基础上变化的。Ian利用两套神经模型—生成模型G和鉴别模型D，前者是用于获取数据的分布，后者是用于鉴别样本是来自于训练集而不是模型G生成的。如下图所示：采用的估计方法也是最大似然估计。损失为：该...