深度生成模型之GAN基础 -＞（个人学习记录笔记）

深度生成模型之GAN基础

生成对抗网络

1. 生成对抗网络如何生成数据

• 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数，但能生成符合数据分布P_data(x)的样本

2. 生成对抗原理

• 生成网络和判别网络相互对抗(adversarial),共同学习

3. GAN的核心优化目标

• 生成器损失与判别器损失

4. D的优化

• 判别器的优化目标

• 生成器优化目标

5. GAN的理想状态

• 约翰-纳什提出的纳什均衡(Nash equilibrium)

6. GAN的训练

• SGD交替优化，先更新k次判别器，保证判别网络足够强，再更新生成网络

7. 梯度不稳定与模式崩塌(collapse mode)问题

• 矛盾与不对称的优化目标

8. 梯度消失问题

• 过大过小的激活值，梯度进入消失区

• 部分内容来自阿里云天池