GAN学习笔记-李宏毅：GAN Lecture 6 (2018): WGAN, EBGAN

李宏毅老师讲解的 GAN Lecture 6 (2018): WGAN, EBGAN

• 最原始的GAN使用JS divergence，然而只要两个分布没有重合，它们的js divergence 都是log2
  

• LSGAN：把sigmoid换成linear，（discriminator不要训的太好也不要太差，就要求能区分又希望在generated data部分可微分）
  

Wassertein GAN（WGAN）

• 使用Earth Mover’s Distance 衡量两个distribution间的差距：将P数据铲到Q所走的平均距离；穷举所有的铲土计划，算出每个计划中推土机要走的平均距离，距离最小的就是W distance。
  

• 优势：避免了JS divergence中“不重合都为lg2”这个无法区分的情况

• 优化目标
  
  这个带约束的优化问题还是比较复杂的，原论文是用weight clipping，但并不能使结果完美cover约束
  

• Improved WGAN（WGAN-GP）
  
  P p