李宏毅学习笔记33.GAN.04.Theory behind GAN

简介

本节将从GAN的提出者Ian Goodfellow在2014年的论文原文角度进行讲解。
公式输入请参考：在线Latex公式
我们根据之前学过的内容大概可以知道GAN是根据一堆样本进行生成工作。

那么我们从Generation来看是怎么个生成法。假如我们要生成一张图片，那么用$x$来代表一张图片 an image (a highdimensional vector)。我们要产生的图片，它有一个固定的一个分布，记为：$P_{data}(x)$，那么在整个图像空间中（图像本来是高维的，这里为了可视化，用二维的来表示），只有一小部分区域中采样出来的点才能产生人脸，其他的不行

因此，如上图所示，在蓝色区域以内的点产生人脸的几率较高，蓝色区域以外产生人脸的几率较低。
我们希望机器能够找出$P_{data}(x)$（这个分布长什么样子我们不知道）
• We want to find data distribution $P_{data}(x)$
当我们收集了很多样本的时候，我们知道这些样本的位置产生人脸的几率较高，但是产生人脸的分布我们是不知道什么样子。
从样本推算分布，在没有GAN这个算法之前，我们用的是MLE。先简单复习一下MLE。

MLE

Given a data distribution $P_{data}(x)$ (We can sample from it.我们能从里面采样，但是不知道它是啥样子)
• We have a distribution $P_G(x;\theta )$ parameterized by $\theta$
• We want to find $\theta$ such that $P_G(x;\theta )$ close to $P_{data}(x)$
• E.g. $P_G(x;\theta )$ is a Gaussian Mixture Model, $\theta$ are means and variances of the Gaussians
Sample { x 1 , x 2 , ⋯   , x m } \{x^1,x^2,\cdots,x^m\} {x1,x2,⋯,xm} from $P_{data}(x)$
We can compute $P_G(x^i;\theta )$ Likelihood of generating the samples
$$L=\prod _{i=1}^m{P}_G(x^i;\theta )$$
Find ${\theta }^{\ast }$ maximizing the likelihood
意思就是下面这些数据是从$P_{data}(x)$这个分布sample出来的，如果用$P_G(x;\theta )$来产生下面这些数据，那么它产生这些数据的Likelihood越大越好（计算公式如上），这个事情可以通过调整参数$\theta$来实现。

上面的数据可能是混合高斯模型，有三个分布组成，用这个混合高斯模型来产生这些数据likelihood最大。

MLE=Minimize KL Divergence

从另外一个角度来看MLE：
$${\theta }^{\ast }=arg\underset{\theta }{\max }\prod _{i=1}^m{P}_G(x^i;\theta )=arg\underset{\theta }{\max }log\prod _{i=1}^m{P}_G(x^i;\theta )$$
加log不影响求最大，然后就可以乘法变加法：
= a r g max θ ∑ i = 1 m l o g P G ( x i ; θ ) , { x 1 , x 2 , ⋯   , x m }   f r o m   P d a t a ( x ) =arg\underset{\theta}{\text{max}}\sum_{i=1}^mlogP_{G}(x^i;\theta),\quad \{x^1,x^2,\cdots,x^m\} \space from\space P_{data}(x) =argθmax​i=1∑m​logPG​(xi;θ),{x1,x2,⋯,xm} from Pdata​(x)
这个事情就相当于求从$P_{data}(x)$采样出$x$的期望：
$$\approx arg\underset{\theta }{\max }{E}_{x\sim P_{data}}[log{P}_G(x;\theta )]$$
把期望展开就是积分：
$$=arg\underset{\theta }{\max }{\int }_x{P}_{data}(x)log{P}_G(x;\theta )dx$$
上式后面减去一个和$P_G$无关的项不影响求最大值：
$$=arg\underset{\theta }{\max }{\int }_x{P}_{data}(x)log{P}_G(x;\theta )dx-{\int }_x{P}_{data}(x)log{P}_{data}(x)dx$$
把${\int }_x{P}_{data}(x)$提取出来，那么${\int }_{x}log{P}_G(x;\theta )dx-{\int }_{x}log{P}_{data}(x)dx$就是求$P_G||P_{data}$的KL Divergence，这里把两个分布位置换一下，就变成求最小值：
$$=arg\underset{\theta }{\min }KL(P_{data}||P_G)$$
但是我们的分布$P_G$不一定是高斯分布，因此我们如何把$P_G$进行一般化？如果$P_G$是一个NN，就没有办法算likelihood。因此要用GAN的Generator来解决这个问题。

Generator

用$x$来代表一张图片 an image (a highdimensional vector)。
• A generator $G$ is a network. The network defines a probability distribution $P_G$
NN就是一个输入一个输出（现在是做图片生成，所以输出就是一个图片），类似下图

现在输入$z$是来自一个分布（可以用Normal Distribution，也可以用uniform distribution，影响不大，因为后面接的是NN，因此输入很简单的分布，NN也可以输出非常复杂的分布）

如果$z$sample的值不一样，那么输出的值也不一样：

如果把这些输出集合起来就是一个非常复杂的分布，记为：$P_G(x)$

我们希望Generator生成的分布$P_G(x)$要和目标分布$P_{data}(x)$越接近越好：

写成一个优化的公式为：
$$G^{\ast }=arg\underset{G}{\min }Div(P_G,P_{data})$$
$Div(P_G,P_{data})$就是Divergence between distributions $P_G$ and $P_{data}$
挖坑：How to compute the divergence?
$P_G$ 和$P_{data}$的公式我们不知道，如果知道我们就可以代入DL的公式，然后用GD来解。

Discriminator

在讲具体的数学推导，先看GAN解决这个问题的原理。
要求：
$$G^{\ast }=arg\underset{G}{\min }Div(P_G,P_{data})$$
尽管我们不知道$P_G$ 和$P_{data}$，但是我们可以从它们里面sample数据。

问题就变成我们怎么从sample的数据求$P_G$ 和$P_{data}$
其实我们可以使用Discriminator来衡量$P_G$ 和$P_{data}$的Divergence
蓝色星星： data sampled from $P_{data}$
橙色星星： data sampled from $P_G$

我们可以用Discriminator来区分两个Distribution，公式：

前面一项是表示数据sampled from $P_{data}$，值越大越好，后面一项是表示数据sampled from $P_G$ ，值越小越好
上面公式的形式和训练一个二分类Classifier的目标函数长得一样，就是说可以把$P_{data}$和$P_G$ 看成两个分类。
训练Discriminator就好比训练一个二分类：

The maximum objective value is related to JS divergence.来看下为什么是JS divergence。
如果两个分布的数据很接近（small divergence），那么Discriminator很难把数据分开，也就是上面的公式很难找到一个D，使得$D^{\ast }$取得很大的值

反之：

也就是$D^{\ast }$和divergence程度有关系，下面用数学来证明。

$D^{\ast }$和divergence的关系证明

先把Objective函数写出来：
$$V=E_{x\sim P_{data}}[logD(x)]+E_{x\sim P_G}[log(1-D(x))]$$
• Given $G$(固定 $G$), what is the optimal $D^{\ast }$ maximizing
$$\begin{gathered} V=E_{x\sim P_{data}}[logD(x)]+E_{x\sim P_G}[log(1-D(x))] \\ ={\int }_x{P}_{data}(x)logD(x)dx+{\int }_x{P}_G(x)log(1-D(x))dx \\ ={\int }_x[P_{data}(x)logD(x)+P_G(x)log(1-D(x))]dx \end{gathered}$$
Assume that D(x) can be any function
• Given $x$, the optimal $D^{\ast }$ maximizing(上面的最大化问题就变成下面的公式)
$$P_{data}(x)logD(x)+P_G(x)log(1-D(x))$$
这里$P_{data}，P_G(x)$是固定的，要找一个$D(x)$最大化上面的式子，我们可以设：
$$a=P_{data}(x),b=P_G(x),D=D(x)\text{\hspace{1em}(1)}$$
最大化函数就变成：
$$f(D)=alog(D)+blog(1-D)$$
求极值就是要先求导，并让导数等于0：
$$\frac{df(D)}{dD}=a\times \frac{1}{D}+b\times \frac{1}{1-D}\times (-1)=1$$
$$\begin{gathered} a\times \frac{1}{D^{\ast }}=b\times \frac{1}{1-D^{\ast }} \\ a\times (1-D^{\ast })=b\times D^{\ast } \\ a-a{D}^{\ast }=b{D}^{\ast } \\ a=(a+b{D}^{\ast }) \\ {D}^{\ast }=\frac{a}{a+b} \end{gathered}$$
把假设1带回来
$$D^{\ast }(x)=\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}$$
然后我们把$D^{\ast }$带回二分类的目标函数：
$$\begin{gathered} \underset{D}{\max }V(G,D)=V(G,D^{\ast })=E_{x\sim P_{data}}[logD(x)]+E_{x\sim P_G}[log(1-D(x))] \\ =E_{x\sim P_{data}}\left[log\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}\right]+E_{x\sim P_G}\left[log\frac{P_G(x)}{P_{data}(x)+P_G(x)}\right] \\ {\int }_x{P}_{data}log\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}dx+{\int }_x{P}_G(x)log\frac{P_G(x)}{P_{data}(x)+P_G(x)}dx \\ ={\int }_x{P}_{data}log\frac{\frac{1}{2}{P}_{data}(x)}{\frac{P_{data}(x)+P_G(x)}{2}}dx+{\int }_x{P}_G(x)log\frac{\frac{1}{2}{P}_G(x)}{\frac{P_{data}(x)+P_G(x)}{2}}dx \\ =log\frac{1}{2}+log\frac{1}{2}+{\int }_x{P}_{data}log\frac{P_{data}(x)}{\frac{P_{data}(x)+P_G(x)}{2}}dx+{\int }_x{P}_G(x)log\frac{P_G(x)}{\frac{P_{data}(x)+P_G(x)}{2}} \\ =2log\frac{1}{2}+{\int }_x{P}_{data}log\frac{P_{data}(x)}{\frac{P_{data}(x)+P_G(x)}{2}}dx+{\int }_x{P}_G(x)log\frac{P_G(x)}{\frac{P_{data}(x)+P_G(x)}{2}} \\ =-2log2+{\int }_x{P}_{data}log\frac{P_{data}(x)}{\frac{P_{data}(x)+P_G(x)}{2}}dx+{\int }_x{P}_G(x)log\frac{P_G(x)}{\frac{P_{data}(x)+P_G(x)}{2}} \\ =-2log2+KL\left(P_{data}||\frac{P_{data}(x)+P_G(x)}{2}\right)+KL\left(P_G||\frac{P_{data}(x)+P_G(x)}{2}\right) \\ =-2log2+2JSD(P_{data}||P_G) \end{gathered}$$
JSD: Jensen-Shannon divergence

---

KL散度、JS散度和交叉熵
三者都是用来衡量两个概率分布之间的差异性的指标。不同之处在于它们的数学表达。
对于概率分布P(x)和Q(x)
1）KL散度（Kullback–Leibler divergence）
又称KL距离，相对熵。
当P(x)和Q(x)的相似度越高，KL散度越小。
KL散度主要有两个性质：
（1）不对称性
尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。
（2）非负性
相对熵的值是非负值，即D(P||Q)>0。
2）JS散度（Jensen-Shannon divergence）
JS散度也称JS距离，是KL散度的一种变形。
但是不同于KL主要又两方面：
（1）值域范围
JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。
（2）对称性
即 JS(P||Q)=JS(Q||P)，从数学表达式中就可以看出。
3）交叉熵（Cross Entropy）
在神经网络中，交叉熵可以作为损失函数，因为它可以衡量P和Q的相似性。

交叉熵和相对熵的关系：
以上都是基于离散分布的概率，如果是连续的数据，则需要对数据进行Probability Density Estimate来确定数据的概率分布，就不是求和而是通过求积分的形式进行计算了。

---

现在，原来的挖的坑：
$$G^{\ast }=arg\underset{G}{\min }Div(P_G,P_{data})$$
$Div(P_G,P_{data})$就是Divergence between distributions $P_G$ and $P_{data}$
可以变化为：
$$G^{\ast }=arg\underset{G}{\min }\underset{D}{\max }V(G,D)$$
这个式子很复杂，就是找一个G，最小化$\underset{D}{\max }V(G,D)$，找一个D，最大化$V(G,D)$
前面的数学推导已经找到了最好的$D^{\ast }$(The maximum value is related to JS divergence.)，现在找一个最好的$G^{\ast }$
假设我们现在只有三个G，分别是$G_1,G_2,G_3$
横坐标不一样，代表选择了不同的Discriminator，当我们固定不同的G的时候，最大化的$V(G,D)$如下图中的红点所示。

从三个不同的$G_1,G_2,G_3$来看，从三个最大化的$V(G,D)$中取最小值，故这里$G^{\ast }=G_3$。

换个角度看，就是$P_{G_3}$和$P_{data}$的Divergence最小。

黑框中的内容就是在解$G^{\ast }=arg\underset{G}{\min }\underset{D}{\max }V(G,D)$

GD Algorithm for GAN

用函数$L(G)$替代$G^{\ast }$中的$\underset{D}{\max }V(G,D)$：
$$G^{\ast }=arg\underset{G}{\min }L(G)$$
To find the best G minimizing the loss function $L(G)$
$${\theta }_G\leftarrow {\theta }_G-\eta \frac{\partial L(G)}{\partial {\theta }_G},{\theta }_G\text{defines}G$$

---

上面的梯度下降中对$L(G)$求偏导有没有问题？因为$L(G)$中是有求最大值的。
回答：可以，参考之前在CNN中Max Pooling操作，也是可以做梯度下降的。例如：
f ( x ) = max { f 1 ( x ) , f 2 ( x ) , f 3 ( x ) } f(x)=\text{max}\{f_1(x),f_2(x),f_3(x)\} f(x)=max{f1​(x),f2​(x),f3​(x)}
$f_1(x),f_2(x),f_3(x)$的图像如下图：

现在来求：$\frac{df(x)}{dx}=?$
要看x能让$f_1(x),f_2(x),f_3(x)$中的哪个最大，把最大那个拿出来求导即可，例如，x初始化的时候在1号点的位置，那么这个时候是$f_1(x)$最大，这个时候用$\frac{d{f}_1(x)}{dx}$来做梯度下降，并进行更新（黄色箭头）来到2号点，这个时候$f_2(x)$最大，这个时候用$\frac{d{f}_2(x)}{dx}$来做梯度下降，并进行更新（黄色箭头）来到3号点。

也就是说函数中有max操作，也是可以做梯度下降的。
明白这个之后我们继续来看整个$G^{\ast }$如何算。

---

• Given $G_0$
• Find $D_0^{\ast }$ maximizing $V(G_0,D)$ (这里用梯度下降)
$V(G_0,D_0^{\ast })$ is the JS divergence between $P_{data}(x)$ and $P_{G_0}(x)$
$${\theta }_G\leftarrow {\theta }_G-\eta \frac{\partial V(G,D_0^{\ast })}{\partial {\theta }_G},\text{Obtain}{G}_1$$
这里的梯度下降就是减少JS divergence（坑）
• Find $D_1^{\ast }$ maximizing $V(G_1,D)$ (这里用梯度下降)，这里好比上面横线中的讲解是一样的，当$G$从$G_0$变到$G_1$的时候，对应的$L(G)=\underset{D}{\max }V(G,D)$可能改变了，所以要重新求$D_1$
$V(G_1,D_1^{\ast })$ is the JS divergence between $P_{data}(x)$ and $P_{G_1}(x)$

$${\theta }_G\leftarrow {\theta }_G-\eta \frac{\partial V(G,D_1^{\ast })}{\partial {\theta }_G},\text{Obtain}{G}_2$$
这里的梯度下降就是减少JS divergence（坑）
然后不断循环

---

把上面标记的坑：这里的梯度下降就是减少JS divergence，这里的减少是有条件的。

假设在$G_0$的时候，$V(G_0,D)$的曲线如上图左边所示，然后，$D_0^{\ast }$使得$V(G_0,D)$最大，这个时候的JSD是$V(G_0,D_0^{\ast })$ between $P_{data}(x)$ and $P_{G_0}(x)$，然后我们用梯度下降更新$G_0$，将其变成$G_1$，这个时候由于G的值变化后，$V(G_1,D)$的曲线发生了变化（参考上面 f ( x ) = max { f 1 ( x ) , f 2 ( x ) , f 3 ( x ) } f(x)=\text{max}\{f_1(x),f_2(x),f_3(x)\} f(x)=max{f1​(x),f2​(x),f3​(x)}的例子），这个新曲线$V(G_1,D)$如上图的右边所示，这个时候的最大值就不在$D_0^{\ast }$了，离它很远，这个时候的JSD变成了$V(G_1,D_1^{\ast })$，可以看到后面的JSD明显要变大了，这样是不对的，因此我们做了假设，假设
$$D_0^{\ast }\approx D_1^{\ast }$$
这个时候从$V(G_0,D)$到$V(G_1,D)$的曲线变化不会很大。也就是G这个参数只变化了一点点。
我们同样可以用$D_0^{\ast }$来衡量变化后JSD between $P_{data}(x)$ and $P_{G_1}(x)$
也就是说GAN的训练技巧：
Generator不要一次update太多，也不需要太多的iteration；
而Discriminator可以训练到收敛。因为要找到最大值才能衡量出JSD。

---

实作

理论上V是要取期望值，但是实际上是不可能的。只能用样本的均值进行估计：
Given $G$, how to compute $\underset{D}{\max }V(G,D)$
• Sample { x 1 , x 2 , ⋯   , x m } \{x^1,x^2,\cdots,x^m\} {x1,x2,⋯,xm} from $P_{data}(x)$, Sample { x ~ 1 , x ~ 2 , ⋯   , x ~ m } \{\tilde x^1,\tilde x^2,\cdots,\tilde x^m\} {x~1,x~2,⋯,x~m} from generator $P_G(x)$
$$\text{Maximize }\tilde{V}=\frac{1}{m}\sum _{i=1}^{m}logD(x^i)+\frac{1}{m}\sum _{i=1}^{m}log(1-D({\tilde{x}}^i))\text{\hspace{1em}(2)}$$
上面这个事情实际上就是在训练一个Binary Classifier，记为D，D后面接一个sigmoid函数，使得输出值在[0,1]之间
我们把 { x 1 , x 2 , ⋯   , x m } \{x^1,x^2,\cdots,x^m\} {x1,x2,⋯,xm} from $P_{data}(x)$看做Positive examples；
我们把 { x ~ 1 , x ~ 2 , ⋯   , x ~ m } \{\tilde x^1,\tilde x^2,\cdots,\tilde x^m\} {x~1,x~2,⋯,x~m} from generator $P_G(x)$看做Negative examples
目标是最小化上面两组数据的Cross-entropy，计算这个交叉熵的公式推导出来就是公式2

Algorithm for GAN（Review）

Initialize ${\theta }_d$ for $D$ and ${\theta }_g$ for $G$.
• In each training iteration:

---

这块分割线内是训练Discriminator，重复k次，这里一定要训练到收敛为止，目的是找到$\underset{D}{\max }V(G,D)$（实作的时候一般没有办法真的训练到收敛或者卡在局部最小点，因此这里找到的是$\underset{D}{\max }V(G,D)$的lower bound）。
••Sample m examples { x 1 , x 2 , ⋯   , x m } \{x^1,x^2,\cdots,x^m\} {x1,x2,⋯,xm} from data distribution $P_{data}(x)$.（找到真实对象）
••Sample m noise examples { z 1 , z 2 , ⋯   , z m } \{z^1,z^2,\cdots,z^m\} {z1,z2,⋯,zm} from the prior $P_{prior}(z)$.（这个先验分布种类不是很重要）
•••Obtaining generated data { x ~ 1 , x ~ 2 , ⋯   , x ~ m } , x ~ i = G ( z i ) \{\tilde x^1,\tilde x^2,\cdots,\tilde x^m\},\tilde x^i=G(z^i) {x~1,x~2,⋯,x~m},x~i=G(zi).（找到生成对象）
•• Update discriminator parameters ${\theta }_d$ to maximize
$$\begin{gathered} \tilde{V}=\frac{1}{m}\sum _{i=1}^{m}logD(x^i)+\frac{1}{m}\sum _{i=1}^{m}log(1-D({\tilde{x}}^i)) \\ {\theta }_d\leftarrow {\theta }_d+\eta ▽\tilde{V}({\theta }_d) \end{gathered}$$

---

---

这块分割线内是训练Generator，重复1次，目的是减少JSD
••Sample another m noise samples { z 1 , z 2 , ⋯   , z m } \{z^1,z^2,\cdots,z^m\} {z1,z2,⋯,zm} from the prior $P_{prior}(z)$
••Update generator parameters ${\theta }_g$ to minimize
$$\begin{gathered} \tilde{V}=\frac{1}{m}\sum _{i=1}^{m}logD(x^i)+\frac{1}{m}\sum _{i=1}^{m}log(1-D(G(z^i))) \\ {\theta }_g\leftarrow {\theta }_g-\eta ▽\tilde{V}({\theta }_g) \end{gathered}$$
由于$\frac{1}{m}{\sum }_{i=1}^{m}logD(x^i)$和$G$函数无关，所以在求最小值的时候可以忽略：
$$\begin{gathered} \tilde{V}=\frac{1}{m}\sum _{i=1}^{m}log(1-D(G(z^i))) \\ {\theta }_g\leftarrow {\theta }_g-\eta ▽\tilde{V}({\theta }_g) \end{gathered}$$

---

Objective Function for Generator in Real Implementation

按上面的算法：，我们可以知道Generator目标函数应该是：
$$V=E_{x\sim P_{data}}[logD(x)]+E_{x\sim P_G}[log(1-D(x))]$$
然后第一项和$G$函数无关，所以在求最小值的时候可以忽略：
$$V=E_{x\sim P_G}[log(1-D(x))]$$
但是，在论文原文在实作的时候把这个函数改为：
$$V=E_{x\sim P_G}[-log(D(x))]$$
我们先给出这两个函数的图片，然后再解释：

红色曲线对应$log(1-D(x))$：江湖人称Minimax GAN (MMGAN)
蓝色曲线对应$-log(D(x))$：江湖人称Non-saturating GAN (NSGAN)
我们可以看到，红色曲线由于刚开始的Generator 没有训练过，它的生成对象都很假，很容易被识破，因此刚开始$log(1-D(x))$的值很小。
不好训练，换成蓝色曲线后，两个曲线都是下降趋势，没有变，但是蓝色曲线刚开始的值很大，适合做梯度下降。
其实后来实验证明两种结果都差不多。
老师给出了他的猜想，蓝色曲线其实就是把label $x$ from $P_G$ as positive.就是把生成对象和真实对象的标签换一下。估计是作者懒得改code，用的同一套code训练两组data。。。
理论部分到此结束。下面看一些比较直觉的东西。

Intuition

Generator和Discriminator的关系：Discriminator leads the generator.
红线：Discriminator
绿线：Data(target)distribution
蓝线：Generated distribution

有两组数据，生成对象（蓝色点）、真实对象（绿色点），然后我们训练一个Discriminator，然后Discriminator会给蓝色点比较低的分数，绿色点比较高的分数（红色曲线）。然后蓝色点就会跟着Discriminator的趋势（梯度方向）向右边移动，要获得高分：

移动过头，没关系，这个时候我们会再训练一次Discriminator，这个时候两个分布比较近，所以Discriminator的loss比较大，也就是两个分布的JS divergence比较小。然后蓝色点就会跟着Discriminator的趋势（梯度方向）向左边移动，直到Discriminator变成直线，就是Discriminator无法分辨生成对象（蓝色点）和真实对象（绿色点）。

GAN会不会出现正负样本不均衡的情况？
答：不会，因为正负样本都是我们自己sample出来的，只要不想自己和自己过不去就可以sample等量的样本。