GAN学习总结二-理论推导

GAN学习总结二-理论推导

本文从理论角度总结一下GAN的理论，主要参考李宏毅老师的GAN课程，可参考GAN完善理论推导与实现；

​ 如下图 Generator是一个network，从Normal的分布中取出数据z送入G中，产生出x，$x=G(z)$;当输入很多的数据时，产生出一个分布$P_G(x)$ 目的是使得该分布与$P_{data}(x)$ 的分布越近越好，其中$P_{data}(x)$ 是给定数据的分布，$x$表示高纬向量，表示图像。可得到图中的$G^{\ast }=\arg \underset{G}{\min }\mathrm{Div}\left(P_G,P_{data}\right)$，其中$DIV(P_G,P_{data})$表示$P_G$和$P_{data}$的散度，现在问题是$P_{data}$和$P_G$的数据分布是都不知道的，因此，DIV也是没法计算出来的？

​ $P_G$和$P_{data}$的分布我们不知道，但可以从给定的数据集中sample出数据，如下图，从G产生出的图像认为是$P_G$中采样得到的值。

训练一个D，即寻找一个最优化的D,使得$V(D,G)$达到一个最大值，固定的G时，优化如下公式：

$V(G,D)=E_{x\sim P_{data}}[\log D(x)]+E_{x\sim P_c}[\log (1-D(x))]$ 使该式值最大；

​ 如下图：当给定一个G时，寻找一个$D^{\ast }$使得$V(G,D)$最大，如下为推导过程，当给定一个x时，需要求一个$D^{\ast }$使得$P_{\text{data}}(x)\log D(x)+P_G(x)\log (1-D(x))$最大：

​ 利用求导求$\mathrm{f}(D)=\mathrm{alog}(D)+\mathrm{blog}(1-D)$导数求得使该式子的最大值，最后得到的$D^{\ast }(x)=\frac{P_{data}(x)}{P_{data}(x)+P_G(x)}$时$f(D)$最大；同时将求得的$D^{\ast }(x)$代入下式：
$$\begin{array}{rl}V& =E_{x\sim P_{\text{data}}}[\log D(x)]+E_{x\sim P_G}[\log (1-D(x))]\end{array}$$

最终得到的$maxV(G,D)$符合Jensen–Shannon divergence (JS散度)

结论：根据原始GAN定义的判别器loss，我们可以得到最优判别器的形式；而在最优判别器下，我们可以把原始GAN定义的生成器loss等价变换为最小化真实分布$P_{data}$与生成分布$P_G$之间的JS散度，我们越训练判别器，它就越接近最优，最小化生成器的loss也就越近似于最小化$P_{data}$和$P_G$之间的JS散度。

参考：

https://zhuanlan.zhihu.com/p/25071913

https://zhuanlan.zhihu.com/p/29837245[GAN完善理论推导与实现]