深度学习之生成对抗网络（5）纳什均衡

 现在我们从理论层面进行分析，通过博弈学习的训练方式，生成器G和判别器D分别会达到什么平衡状态。具体地，我们将探索以下两个问题：

• 固定G，D会收敛到什么最优状态$D^{\ast }$？
• 在D达到最优状态$D^{\ast }$后，G会收敛到什么状态？

首先我们通过${\mathbf{x}}_r\sim p_r(\cdot )$一维正态分布的例子给出一个直观的解释。如下图所示，黑色虚线曲线代表了真实数据的分布$p_r(\cdot )$，为某正态分布$\mathcal{N}(\mu ,{\sigma }^2)$，绿色实线代表了生成网络学习到的分布${\mathbf{x}}_f\sim p_g(\cdot )$，蓝色虚线代表了判别器的决策边界曲线，图（a）、（b）、（c）、（d）分别代表了生成网络的学习轨迹。在初始状态，如下图（a）所示，$p_g(\cdot )$分布与$p_r(\cdot )$差异较大，判别器可以很轻松地学习到明确的决策边界，即图（a）中的蓝色虚线，将来自$p_g(\cdot )$的采样点判定为0，$p_r(\cdot )$中的采样点判定为1.随着生成网络的分布$p_g(\cdot )$越来越逼近真是分布$p_r(\cdot )$，判别器越来越困难将真假样本区分开，如下图（b）（c）所示。最后，生成网络学习到的分布${\mathbf{p}}_{\mathbf{g}}(\cdot )={\mathbf{p}}_{\mathbf{r}}(\cdot )$时，此时从生成网络中采样的样本非常逼真，判别器无法区分，即判定为真假样本的概率均等，如下图（d）所示。

 这个例子直观地解释了GAN网络的训练过程。

纳什均衡点

1. 判别器状态

 现在来推导第一个问题。回顾GAN的损失函数：
$$\begin{array}{rl}\mathcal{L}(G,D)& ={\int }_x{p}_r(\mathbf{x})\text{log}(D(\mathbf{x}))+{\int }_z{p}_z(\mathbf{z})\text{log}(1-D(g(\mathbf{z})))d\mathbf{z}\\ & ={\int }_x{p}_r(\mathbf{x})\text{log}(D(\mathbf{x}))+p_g(\mathbf{x})log(1-D(\mathbf{x}))d\mathbf{x}\end{array}$$
对于判别器D，优化的目标是最大化$\mathcal{L}(G,D)$函数，需要找出函数：
$$f_{\theta }=p_r(\mathbf{x})\text{log⁡}(D(\mathbf{x}))+p_g(\mathbf{x})\text{log}(1-D(\mathbf{x}))$$
的最大值，其中$\theta$为判别器D的网络参数。

 我们来考虑$f_{\theta }$更通用的函数的最大值情况：
$$f(x)=A\text{log}x+B\text{log}(1-x)$$
要求得$f(x)$的最大值。考虑$f(x)$的导数：
$$\begin{array}{rl}\frac{\text{d}f(x)}{\text{d}x}& =A\frac{1}{\text{ln}10}\frac{1}{x}-B\frac{1}{\text{ln}10}\frac{1}{1-x}\\ & =\frac{1}{\text{ln}10}(\frac{A}{x}-\frac{B}{1-x})\\ & =\frac{1}{\text{ln}10}\frac{A-(A+B)x}{x(1-x)}\end{array}$$
令$\frac{\text{d}f(x)}{\text{d}x}=0$，我们可以求得$f(x)$函数的极值点：
$$x=\frac{A}{A+B}$$
因此，可以得知，$f_{\theta }$函数的极值点同样为：
$$D_{\theta }=\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}$$
也就是说，判别器网络$D_{\theta }$处于$D_{{\theta }^{\ast }}$状态时，$f_{\theta }$函数取得最大值，$\mathcal{L}(G,D)$函数也取得最大值。

 现在回到最大化$\mathcal{L}(G,D)$的问题，$\mathcal{L}(G,D)$的最大值点在：
$$D^{\ast }=\frac{A}{A+B}=\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}$$
时取得，此时也是$D_{\theta }$的最优状态$D^{\ast }$。

2. 生成器状态

 再推导第二个问题之前，我们先介绍以下与KL散度类似的另一个分布距离度量标准：JS散度，它定义为KL散度的组合：
$$D_{KL}(p||q)={\int }_{x}p(\mathbf{x})\text{log⁡}\frac{p(\mathbf{x})}{q(\mathbf{x})}\text{d}\mathbf{x}$$
$$D_{JS}(p||q)=\frac{1}{2}{D}_{KL}(p||\frac{p+q}{2})+\frac{1}{2}{D}_{KL}(q||\frac{p+q}{2})$$
JS散度克服了KL散度不对称的缺陷。

 当D达到最优状态$D^{\ast }$时，我们来考虑此时$p_r$和$p_g$的JS散度：
$$D_{JS}(p_r||p_g)=\frac{1}{2}{D}_{KL}(p_r||\frac{p_r+p_g}{2})+\frac{1}{2}{D}_{KL}(p_g||\frac{p_r+p_g}{2})$$
根据KL散度的定义展开为：
$$\begin{array}{r}{D}_{JS}(p_r||p_g)=\frac{1}{2}(\text{log}2+{\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x})\\ +\frac{1}{2}(\text{log}2+{\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_g(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x})\end{array}$$
合并常数项可得：
$$\begin{array}{rl}& D_{JS}(p_r||p_g)=\frac{1}{2}(\text{log}2+\text{log}2)\\ & +\frac{1}{2}({\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x}+{\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_g(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x})\end{array}$$
即：
$$\begin{array}{rl}& D_{JS}(p_r||p_g)=\frac{1}{2}(\text{log}4)\\ & +\frac{1}{2}({\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x}+{\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_g(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x})\end{array}$$
考虑在判别网络到达$D^{\ast }$时，此时的损失函数为：
$$\begin{array}{rl}\mathcal{L}(G,D^{\ast })& ={\int }_x{p}_r(\mathbf{x})\text{log}(D^{\ast }(\mathbf{x}))+p_g(\mathbf{x})\text{log}(1-D^{\ast }(\mathbf{x}))\text{d}\mathbf{x}\\ & =({\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x}+{\int }_x{p}_r(\mathbf{x})\text{log}\frac{p_g(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}\text{d}\mathbf{x})\end{array}$$
因此在判别网络到达$D^{\ast }$时，$D_{JS}(p_r||p_g)$与$\mathcal{L}(G,D^{\ast })$满足关系：
$$D_{JS}(p_r||p_g)=\frac{1}{2}(\text{log}4+\mathcal{L}(G,D^{\ast }))$$
即：
$$\mathcal{L}(G,D^{\ast })=2D_{JS}(p_r||p_g)-2\text{log}2$$
 对于生成网络G而言，训练目标是$\underset{G}{\min }\mathcal{L}(G,D)$，考虑到JS散度具有性质：
$$D_{JS}(p_r||p_g)\ge 0$$
因此$\mathcal{L}(G,D^{\ast })$取得最小值仅在$D_{JS}(p_r||p_g)=0$时（此时$p_g=p_r$），$\mathcal{L}(G,D^{\ast })$取得最小值：
$$L(G^{\ast },D^{\ast })=-2\text{log}2$$
此时生成网络$G^{\ast }$的状态是：
$$p_g=p_r$$
即$G^{\ast }$的学到的分布$p_g$与真是分布$p_r$一致，网络达到平衡点，此时：
$$D^{\ast }=\frac{p_r(\mathbf{x})}{p_r(\mathbf{x})+p_g(\mathbf{x})}=0.5$$

3. 纳什均衡点

 通过上面的推导，我们可以总结出生成网络G最终将收敛到真是分布，即：
$$p_g=p_r$$
此时生成的样本与真实样本来自统一分部，真假难辨，在判别器中均由相同的概率判定为真或假，即
$$D(\cdot )=0.5$$
此时损失函数为
$$\mathcal{L}(G^{\ast },D^{\ast })=-2\text{log⁡}2$$