李宏毅机器学习33——GAN（5）

摘要：

这节课主要学习了GAN背后的理论知识，主要是原理和数学推导。

由于GAN是两部分组成的，这节课学习也是分为生成器生成图片的原理与判别器的原理。

对生成器而言，想要生成符合要求目标，需要在高维空间中选取出样本的分布情况。将选取的样本通过生成器，得到Pg。希望Pg与目标样本Pdata尽可能接近，这个过程其实就是求这两个分布的KL散度。

对于判别器而言，虽然不知道两个分布的具体公式，但是通过分别sample出两个数据集，对其进行分数评估，得到目标函数。

之后将判别器与生成器的目标函数联系起来，就是GAN的目标函数。

对于整体的目标函数，理论方法进行了一些假设，与实际情况还略有不同。

目录

一、GAN背后的理论

二、极大似然估计

三、generator

四、discrimination

五、整理公式

算法过程：

实际做法：

算法总结：

总结：

---

Theory behind GAN

一、GAN背后的理论

对抗网络GAN是由生成器Generator最终生成图片、文本等结构化数据。

生成器能生成结构化数据的原理是什么呢？

假设今天的任务是生成固定的图片，实际上我们是在一个已知的image space中，选出分布Pdata（x），在这个分布中的图片都是符合我们选取要求的。

二、极大似然估计

在GAN之前，我们采取极大似然估计的方法，去找到这个分布Pdata（x）

极大似然估计的做法：

1.我们首先有目标数据的概率密度函数Pdata（x）

我们只能从Pdata（x）中sample。

2.我们设定