GAN存在问题的数学推导

判别器损失函数

 

生成器损失函数

 

 

 

以下为对生成器损失函数为公式2时问题的推理:

最优判别器

其中x表示一张图片, Pr(x)表示真实图片中x出现的概率. Pg(x)生成图片中x出现的概率. 最优判别器, 就是通过学习这两种分布, 似合出公式4.

 

当判别器是最优判别器时, 生成器损失函数凑常数项得

 

由于Pr与Pg的支撑集是高维空间中的低维流形, Pr与Pg非常难有重叠部分, 得生成器损失函数中

 

具体表现为, 判别器训练到最好时, 最终结果大量出现D(Pr(x))=1,D(Pg(x))=0, 而不是中间值. 生成器损失函数变为常数, 可以理解为对于单张图片梯度还在, 还会向后更新, 但是更新的部分只是Pg的支撑集, 与Pr的支撑集在高维空间上完全错开了. 而所有图片构成的损失函数变为常数.

 

 

 

以下为对生成器损失函数为公式3时问题的推理:

损失函数变形为:

1.KL(Pg||Pr)使得生成器少生成真实的样本,惩罚微小, 而生成错误的样本惩罚巨大, 造成collapse mode.

2.由于前两项优化目标相反, 梯度不稳定

 

 

参考资料:

https://zhuanlan.zhihu.com/p/25071913