李宏毅《GAN Lecture》学习笔记4 - Basic Theory_李宏毅

本文链接：https://blog.csdn.net/dupei/article/details/102598675

本文是李宏毅《GAN Lecture》学习笔记第四部分，主要讲解GAN的基本理论，包括问题描述、最大似然估计解法、GAN的解法及其与JS散度的关系。通过公式推导和直观解释，阐述了GAN如何通过discriminator评估并最小化两个分布之间的JS散度，以及在实际训练过程中的注意事项。

摘要由CSDN通过智能技术生成

Basic Theory

本节介绍GAN相关的理论知识，pdf和video。

问题描述

假设下图中的蓝色区域是人脸的分布（用一个点代表一张人脸图片），区域内的是high probability的，区域外的是Low probability。GAN的generator做的事情就是找出这个distribution。
在这里插入图片描述

最大似然估计的解法

在没有GAN之前，如何找出这个distribution的呢？使用的是Maximum Likelihood Estimation(最大似然估计)
在这里插入图片描述
等价于最小化KL Divergence

如何定义general $P_G$ ? 之前用高斯分布，但是，生成的效果很糊。

GAN的解法

现在在GAN中， $G$ 是一个网络，这样，就可以将输入（normal distribution）生成出更为复杂的distribution，使得生成的distribution与目标的distribution越近越好。
衡量两个distribution的方法，是计算相应的divergence。
但是， $P_G$ 和 $P_{data}$ 的distribution到时是什么样的，我们并不知道，所以，也就无法直接计算。但是，在GAN中是可以的，怎么做的呢？后面会介绍。
在这里插入图片描述
直观地感受一下GAN是如何度量两个distribution之间的divergence的。
下面的slide说的是：虽然我们没法知道 $P_G$ 和 $P_{data}$ 的真实distribution，但是，我们可以抽样啊，然后，利用抽样的数据来评估。

如何评估呢？—— GAN中的discriminator就是可以用作评估的。
在这里插入图片描述
与训练一个Binary Classifier是一样的，Loss使用的也是cross entropy。