李宏毅GAN课堂笔记 part4：Theory behind GAN

假设我们要生成的图片是二次元人脸的话，他有一个固定的图案是他的分布，这个分布在蓝色的这个区域生成的图片被判别器识别的准确率是高的。

我们的目的是找出这个分布。

Maximum Likelihood Estimation

 

我们提供一个分布由这个θ控制。比如高斯分布，θ指平均值和方差

 

---

• 从Pdata（X）中抽样中m个data
• 把这些几率全部乘起来是我们要maximum的对象。
• 最大化log这一项的求和实际上约等于，最大化使得log这一项最大值的θ
• E（X）= X1P(X1)+X2P(X2)+...+XnP(Xn)

将期望化简为对X的积分。

最后加了一项其实对求最大θ没有影响，加这一项的目的是为了说明，最大似然估计就是KL-Divergence

其实上面说了这么多并没有什么实际的卵用，只需要知道一句话，GAN在对θ做极大似然估计的时候就是为了对Pg和Pdata做KL-Divergence

 

将D*（x）式子带人到蓝框的公式中。

将期望转为积分

为了转换js的形式，分子分母同乘1/2，把分子的1/2提取出来。

其实说了这么多，就为了知道，当我们在GAN中训练一个辨别器的时候，我们想要做的就是最大化Pg和Pdata这两个直接的JS-divergence